Clicked Gallery
Was ist Tokenisierung?
Markiert in einem echten Engineering-Dokument. Erklärt von Clicked.
Im Satz verwendet
Engineering Notes · AI Systems
During preprocessing, tokenization splits the raw text into subword units the model actually reads.
Der Leser markierte ein Wort. Dieses Popup erschien:
In drei Stufen erklärt
●○○
Overview
Tokenisierung ist die Art, wie KI-Modelle Text in Stücke zerlegen, bevor sie ihn lesen. Die Stücke, Tokens genannt, sind meist Wortbrocken statt ganzer Wörter. Modelle sehen, zählen und berechnen nach Tokens, nicht nach Wörtern oder Buchstaben.
●●○
Detail
Ein Tokenizer trägt ein festes Vokabular, typischerweise 50.000 bis 200.000 Einträge, gebildet aus den Zeichenkombinationen, die im Trainingstext am häufigsten vorkommen. Häufige Wörter überleben als einzelnes Token, seltene werden zerteilt, aus Unglücklichkeit wird etwa Un, glücklich und keit. Im Englischen ergibt das im Schnitt rund drei Viertel eines Wortes pro Token, doch derselbe Satz auf Japanisch oder Hindi kann zwei- bis dreimal so viele Tokens kosten, weil das Vokabular überwiegend aus englischem Text gebaut wurde. Diese Lücke zählt, denn API-Preise gelten pro Million Tokens, dieselbe Frage ist in manchen Sprachen also buchstäblich teurer. Tokenisierung erklärt auch einen berühmten Aussetzer: Ein Modell, das die Buchstaben in „strawberry“ nicht zählen kann, sieht gar keine Buchstaben, sondern zwei oder drei Brocken. Auch Zahlen werden an seltsamen Stellen zerhackt, einer der Gründe, warum Rechnen Modelle stolpern lässt.
●●●
Analogy
Bauen mit LEGO. Eine Burg wird nicht aus einem Stück gegossen; sie wird aus einem festen Katalog von Standardsteinen zusammengesetzt, und der Baumeister denkt ausschließlich in Steinen. Frag nach der Maserung des Plastiks in einem Stein und du erntest einen leeren Blick, denn der Stein ist das Kleinste, das für ihn existiert.
KI-Erklärungen können Fehler enthalten · Keine professionelle Beratung
Gleiche Fakten, anderer Vibe — Slang-Modus 😎
●○○
Overview
Tokenisierung heißt: Die KI hackt deinen Text in mundgerechte Brocken namens Tokens, bevor sie irgendwas liest. Keine Buchstaben, keine Wörter, etwas dazwischen — und es ist das einzige Alphabet, das das Modell hat. 😎
●●○
Detail
Der Tokenizer besitzt ein festes Menü aus 50k bis 200k Textbrocken, gelernt aus dem Trainingsmaterial, und jeder Satz von dir wird aus diesem Menü nachgebaut. Alltagswörter reisen als ein Token, komische werden gewürfelt, Un-glücklich-keit-Style. Englisch kommt im Schnitt auf etwa drei Viertel Wort pro Token, dieselbe Frage auf Japanisch verbrennt aber zwei- bis dreimal mehr, und da pro Million Tokens abgerechnet wird, zahlen manche Sprachen buchstäblich eine Sprachsteuer. Daher kommt auch die „strawberry“-Nummer: Das Modell sieht nie r-r-r, es sieht ein paar Brocken ohne Buchstaben darin. Gleiches Spiel bei Mathe, Zahlen werden an zufälligen Stellen zerschnitten, und dann wundern sich alle, dass es nicht addieren kann. 😎
●●●
Analogy
Nur mit Emojis texten. Mit dem Standardset lässt sich viel sagen, aber nur, was das Set abdeckt. Für deinen speziellen seltsamen Dienstag gibt es kein Emoji, also näherst du dich mit dreien an, die ungefähr in die Richtung zeigen, und manches lässt sich schlicht nicht sagen.
KI-Erklärungen können Fehler enthalten · Keine professionelle Beratung
Formale Definition — Derselbe Begriff, wie er sonst erklärt wird
Tokenisierung ist die Zerlegung von Eingabetext in diskrete Einheiten aus einem festen Vokabular, das typischerweise per Byte-Pair-Encoding oder ähnlichen Subwort-Algorithmen aus häufigen Zeichenfolgen aufgebaut wird. Token-Anzahlen bestimmen Sequenzlänge, Kontextverbrauch und nutzungsbasierte Abrechnung, und die Granularität variiert erheblich zwischen Sprachen und Schriftsystemen.
Clicked erklärt alles, was du markierst — genau dort, wo du liest.
Clicked installieren — kostenlos testen50 kostenlose Erklärungen · Keine Kreditkarte nötig
Mehr aus der Galerie
Wie du ein Forschungspaper wirklich liest
Klug überfliegen, die Jargon-Wand durchbrechen, das Gelernte behalten — eine Session, richtig gemacht.
Was ist ein Kontextfenster?
Wie viel Text eine KI gleichzeitig im Kopf behält — und warum lange Chats ihren Anfang vergessen.
Was sind Vektor-Embeddings?
Bedeutung als Koordinaten — wie Maschinen Ähnliches finden, ohne ein einziges Wort abzugleichen.
Was ist Backpropagation?
Wie ein finaler Fehler zur präzisen Anpassung für Millionen Einstellungen wird — Zielwertsuche in groß.