Frage: Hallo, Was ist ihr lieblings KI-Modell?

Xenia Klinge Beantwortet am 21 Feb 2024:

Hier würde ich unterscheiden zwischen einem „fertigen“ Modell und einer Architektur. Der Unterschied ist, dass eine Architektur oder ein Algorithmus erst mal abstrakt sind, das sind bloß Bausteine oder Anweisungen, wie sich ein Modell zu verhalten hat. Ungefähr so wie das Pizzarezept noch keine Pizza ist. „Fertig“ und benutzbar wird das Ganze dann durch Training auf bestimmten Daten. Dieselbe Architektur, zum Beispiel ein sogenannter Transformer, kann auf unterschiedlichen Daten trainiert ganz verschiedene Modelle hervorbringen, zum Beispiel BERT (eines der frühen transformerbasierten Sprachverarbeitungssysteme) oder GPT-4 (worauf ChatGPT beruht).

Unter Architekturen kann man schon seine Lieblinge haben, glaube ich, auch wenn man natürlich immer die Algorithmen so wählt, dass sie zum Problem passen. Bei „einfachen“ Machine-Learning-Problemen bevorzuge ich manchmal zum Beispiel Entscheidungsbäume gegenüber komplizierteren Algorithmen, weil sich diese auch von Menschen gut verstehen lassen und wir so besser nachvollziehen und erklären können, wie sie ihre Entscheidungen treffen.

Was Modelle angeht, schließe ich mich an, dass sich das nicht so gut beantworten lässt, weil es auch mit ihrer Aufgabe zusammenhängt. Charmant fand ich aber das inzwischen fast ein Jahr alte TinyStories (https://arxiv.org/abs/2305.07759). Eigentlich heißt das Datenset so, auf dem die Forschenden hier ein Modell trainieren – und zwar ein verhältnismäßig „kleines“ Sprachmodell, das „kleine“ Geschichten erzählen kann, sowohl von der Länge her als auch vom Publikum: Die Geschichten sollen für kleine Kinder verständlich sein.

Ein Beispiel (übersetzt auf Deutsch):

Es war einmal ein großer Fisch namens Bob. Bob liebte es zu schwimmen und mit seinen Freunden zu spielen. Eines Tages sah Bob einen glänzenden Stein auf dem Boden liegen. Er wollte damit spielen, aber er war zu groß für ihn.
Bob fragte seine Freunde, ob sie mit dem Stein spielen könnten. Seine Freunde sagten ja, und sie spielten den ganzen Tag mit dem Stein. Sie hatten so viel Spaß, zusammen zu spielen.
Doch dann passierte etwas Unerwartetes. Ein starker Wind kam auf und blies den Stein weg. Bob war traurig und wusste nicht, was er tun sollte. Er sah sich um und bemerkte, dass der Stein verschwunden war! Er war traurig und wusste nicht, was er tun sollte.

Wer sich jetzt fragt, wie ein Unterwasser-Windstoß einen schweren Stein wegblasen kann … tja, das Modell ist ein Geschichtenerzähler, keine Physiksimulation. : )