Clicked Gallery
Was ist ein großes Sprachmodell (LLM)?
Markiert in einem echten Engineering-Dokument. Erklärt von Clicked.
Im Satz verwendet
Engineering Notes · AI Systems
The system is built on a large language model trained on several trillion words of text.
Der Leser markierte ein Wort in der Dokumentation. Clicked erklärte den Fachbegriff „large language model“ ganz einfach:
In drei Stufen erklärt
●○○
Overview
Ein großes Sprachmodell (LLM) ist ein Programm, das vorhersagt, welcher Text als Nächstes kommt. Es entsteht in zwei Stufen. Das Vortraining liest eine enorme Menge Text, bis diese Vorhersagen gut werden. Das allein ergibt etwas, das deinen Satz weiterschreibt, statt ihn zu beantworten. Eine zweite Stufe bringt ihm das Antworten bei, und beide sind längst abgeschlossen, bevor du irgendetwas eintippst.
●●○
Detail
Alles, was ein LLM tut, beruht auf einer einzigen Operation, immer wieder: den bisherigen Text ansehen und die wahrscheinlichste Fortsetzung erzeugen. Tippe „die Hauptstadt von Frankreich ist“ und es antwortet Paris, weil dieses Muster in seiner Lektüre ständig vorkam und nicht weil es irgendwo nachgesehen hätte. Das allein liefert dir eine Maschine, die von deiner Abbruchstelle aus weiterschreibt. In der zweiten Stufe, dem bestärkenden Lernen aus menschlichem Feedback, sortieren Menschen konkurrierende Antworten, bis es lernt zu antworten statt zu schwafeln. Warum nicht einfach eine Datenbank mit Antworten bauen? Weil eine Datenbank nur zurückgibt, was jemand hineingelegt hat, während die Vorhersage auch die Fragen abdeckt, an die niemand gedacht hat. Der Preis ist, dass richtig klingen und richtig liegen zwei verschiedene Fähigkeiten sind, es also Ereignisse schildern kann, die nie stattfanden. Es scheint sich außerdem an dich zu erinnern, aus zwei getrennten Gründen. Innerhalb eines Chats wird das gesamte Gespräch bei jedem Enter erneut mitgeschickt und füllt das Kontextfenster. Über Chats hinweg speichern Produkte wie ChatGPT Notizen über dich in gewöhnlichem Speicher und fügen sie später ein. In beiden Fällen bekommt es eine Erinnerungsstütze gereicht, statt sich zu erinnern.
●●●
Analogy
Die Wortvorschläge auf deinem Handy machen eine winzige Version davon. Tippe „bis“ und es bietet „morgen“ an, weil das in den gesehenen Nachrichten meistens folgte. Ein großes Sprachmodell ist dieselbe Idee mit ungleich mehr Lektüre dahinter und einem viel längeren Blick auf das Vorherige. Dieser Sprung im Maßstab macht aus einer Wortvorhersage etwas, das ein Gespräch führen kann.
KI-Erklärungen können Fehler enthalten · Keine professionelle Beratung
Gleiche Fakten, anderer Vibe — Slang-Modus 😎
●○○
Overview
Nimm die Mystik weg und ein LLM ist ein Nächstes-Wort-Rater mit einer maßlosen Lesegewohnheit. So belassen würde es fröhlich von deiner Abbruchstelle weiterschreiben und dir nie eine Antwort geben. Eine zweite Trainingsstufe, in der Menschen dasaßen und von zwei Antworten die bessere markierten, hat aus dem Schwafler etwas gemacht, das reagiert. 😎
●●○
Detail
Ein LLM hat eine unfassbare Menge Text gelesen und gelernt, was worauf zu folgen pflegt. Die rohe Fassung davon ist allerdings wirklich unbrauchbar. Du stellst eine Frage und bekommst vielleicht drei weitere Fragen zurück, denn genau das findet sich in freier Wildbahn oft genug nach einer Frage. Jemand musste sich hinsetzen und tausende Antwortpaare danach markieren, welches besser war, und daher stammt der höfliche Assistent. Es ist also weder eine Suchmaschine noch schlägt es irgendwo nach, weshalb es dir eine Quellenangabe liefern kann, die es nie gab, und sich dabei noch freut. Auch die Sache mit dem Gedächtnis verwirrt. Innerhalb eines Chats wirkt es erinnerungsfähig, weil ihm das ganze Gespräch bei jeder Nachricht erneut vorgelegt wird. Über Chats hinweg führt die App irgendwo eine Notizdatei über dich und schiebt sie beim nächsten Mal oben mit rein. In keinem der beiden Fälle hat das Modell etwas gelernt: es bekommt einen sehr ausführlichen Spickzettel gereicht und liest ihn wie alles andere auch. 😎
●●●
Analogy
Jemand, der jedes Kochbuch der Welt gelesen und nie gekocht hat. Frag, was zu Lamm passt, und die Antwort ist ausgezeichnet, weil dieser Satz zehntausendmal geschrieben wurde. Frag, ob dein konkretes Lamm durch ist, und die Antwort kommt genauso überzeugt, aus einem Sessel heraus, in einem anderen Gebäude. 😎
KI-Erklärungen können Fehler enthalten · Keine professionelle Beratung
Formale Definition — Derselbe Begriff, wie er sonst erklärt wird
Ein großes Sprachmodell ist ein neuronales Netz, das auf einem umfangreichen Korpus darauf trainiert wurde, nachfolgende Tokens aus vorangehenden vorherzusagen, mit Parameterzahlen typischerweise im Milliardenbereich. Das Vortraining auf dieses Ziel ergibt ein System zur Textfortsetzung; Feinabstimmung an Anweisungsbeispielen und bestärkendes Lernen aus menschlichem Feedback werden anschließend angewandt, um Assistenzverhalten zu erzeugen. Die Parameter bleiben bei der Inferenz unverändert, und jede scheinbare Erinnerung innerhalb einer Sitzung stammt daher, dass das Gespräch im Kontextfenster erneut bereitgestellt wird.
Soll Clicked Begriffe wie „large language model“ direkt in deinem Browser erklären – auch in PDFs?
Zu Chrome hinzufügen — Kostenlos50 kostenlose Erklärungen · Keine Kreditkarte nötig
Mehr aus der Galerie
Was ist ein neuronales Netz?
Mathematik, die Regeln aus Beispielen lernt, statt sie geschrieben zu bekommen, und warum das gewinnt.
Was ist RLHF (bestärkendes Lernen aus menschlichem Feedback)?
Der Schritt, der aus einer Textvorhersage einen Assistenten macht, und was er dem Modell nebenbei beibringt.
Was ist ein Kontextfenster?
Wie viel Text eine KI gleichzeitig im Kopf behält — und warum lange Chats ihren Anfang vergessen.
Was ist Tokenisierung?
Wie KI Text in Brocken zerlegt, bevor sie liest — und warum manche Sprachen mehr kosten.
Was ist Inferenz (in der KI)?
Das Modell bei seiner eigentlichen Arbeit, und warum die billige Hälfte am Ende am meisten kostet.
Was ist eine KI-Halluzination?
Warum KI erfundene Fakten mit voller Überzeugung ausgibt, und warum man es nicht hört.