Clicked Gallery
Was ist Quantisierung?
Markiert in einem echten Engineering-Dokument. Erklärt von Clicked.
Im Satz verwendet
Engineering Notes · AI Systems
The 4-bit quantization cut memory use enough to run the model on a single consumer GPU.
Der Leser markierte ein Wort. Dieses Popup erschien:
In drei Stufen erklärt
●○○
Overview
Quantisierung schrumpft ein KI-Modell, indem sie seine Zahlen mit geringerer Genauigkeit speichert. Jede Zahl braucht weniger Speicher, das Modell läuft also auf kleinerer, billigerer Hardware. Gut gemacht, sinkt die Qualität kaum.
●●○
Detail
Ein Modell besteht aus Milliarden Zahlen, den Gewichten, normalerweise mit 16 Bit pro Stück gespeichert. Quantisierung codiert sie auf 8 oder 4 Bit um, ein Modell mit 70 Milliarden Gewichten fällt so von rund 140 Gigabyte auf etwa 35 bei 4 Bit. Die volle Version passt nicht einmal auf eine Rechenzentrums-GPU, während die geschrumpfte auf eine einzige High-End-Consumer-Grafikkarte passt. Der Trick funktioniert, weil sich Gewichte in engen Bereichen ballen, eine gut gewählte grobe Skala verliert also wenig: Benchmark-Werte sinken bei 8 Bit typischerweise um wenige Prozent und bleiben bei 4 brauchbar. Darunter wird es holprig, und 2-Bit-Versionen sind oft spürbar schlechter. Meist steigt sogar die Geschwindigkeit: Das Langsame am Betrieb eines Modells ist das Holen all dieser Zahlen aus dem Speicher, und kleinere Zahlen bedeuten weniger zu holen. Das ist der Hauptgrund, warum lokale KI überhaupt existiert und Leute die Spitzenmodelle von gestern auf Gaming-Hardware betreiben.
●●●
Analogy
Ein Foto zum Versenden verkleinern. Die Originaldatei ist riesig; mit geringerer Qualität gespeichert schrumpft sie auf ein Zehntel, und auf dem Handybildschirm merkt niemand etwas. Zoomst du weit genug hinein, findest du die Schlieren, doch für den Alltag erfüllt das Bild seinen Zweck.
KI-Erklärungen können Fehler enthalten · Keine professionelle Beratung
Gleiche Fakten, anderer Vibe — Slang-Modus 😎
●○○
Overview
Quantisierung heißt, das Modell auf Diät setzen: gleiches Hirn, Zahlen schlampiger gespeichert. Halber oder viertel Speicher, und es merkt es kaum. 😎
●●○
Detail
Ein Modell ist nur Milliarden Zahlen, und ab Werk verbrennen die 16 Bit pro Zahl. Codier auf 4 Bit um und ein 70B-Modell schrumpft von rund 140 GB auf etwa 35, das ist die Linie zwischen nicht auf eine Rechenzentrums-GPU passen und auf dem Gaming-Rechner laufen. Die Zahlen drängeln sich sowieso in engen Bereichen, grobes Runden kostet also erstaunlich wenig: ein paar Prozent in Benchmarks bei 8 Bit, bei 4 immer noch solide. Presse auf 2 Bit und die Räder fangen an zu eiern. Bonus: Es läuft meist schneller, denn langsam ist das Holen der Zahlen, nicht das Rechnen. Dieser eine Trick ist im Grunde der Grund, warum lokale KI ein Hobby ist und keine Fantasie. 😎
●●●
Analogy
MP3s. Niemand speichert Alben als rohe Studiodateien; du behältst ein Zehntel der Daten und deine Ohrhörer merken keinen Unterschied. Audiophile schwören, sie hören den Verlust, Blindtests sagen kaum, und derweil passt die ganze Sammlung in die Hosentasche.
KI-Erklärungen können Fehler enthalten · Keine professionelle Beratung
Formale Definition — Derselbe Begriff, wie er sonst erklärt wird
Quantisierung bildet Modellparameter von höherpräzisen Gleitkommadarstellungen auf Formate geringerer Bitbreite ab und reduziert Speicherbedarf und Bandbreitenanforderungen bei der Inferenz. Post-Training-Quantisierung und quantisierungsbewusstes Training tauschen Implementierungsaufwand gegen Genauigkeitserhalt, mit meist moderater Verschlechterung bei 8 Bit und zunehmend erheblicher unterhalb von 4 Bit.
Clicked erklärt alles, was du markierst — genau dort, wo du liest.
Clicked installieren — kostenlos testen50 kostenlose Erklärungen · Keine Kreditkarte nötig
Mehr aus der Galerie
Wie du ein Forschungspaper wirklich liest
Klug überfliegen, die Jargon-Wand durchbrechen, das Gelernte behalten — eine Session, richtig gemacht.
Was ist Stochastic Gradient Descent (SGD)?
Millionen Regler, eine Fehlerzahl — wie Modelle wirklich lernen, Trippelschritt für Trippelschritt.
Was ist Backpropagation?
Wie ein finaler Fehler zur präzisen Anpassung für Millionen Einstellungen wird — Zielwertsuche in groß.
Was ist technische Schuld?
Abkürzungen und alternde Systeme, die die Zukunft belasten — Kredit, Zinsen, Tilgung.