Was ist ein Looped Transformer?

Ein Looped Transformer ist ein KI-Modell, das jede Frage mehr als einmal durch denselben Block von Schichten schickt, statt jedem Schritt eine eigene Schicht zu geben. Eine Schicht ist ein Rechenschritt: Daten gehen hinein, die Parameter der Schicht verwandeln sie, und neue Daten kommen heraus. Die Parameter sind Zahlen, die im Training gelernt wurden. Ein gewöhnliches Modell mit 24 Schichten lässt die Daten einmal durch jede Schicht laufen. Ein Looped-Modell mit 12 Schichten lässt die Daten durch alle 12 laufen und schickt die Ausgabe dann noch einmal durch dieselben 12. Die Parameter ändern sich zwischen den Durchläufen nicht; die Daten schon, denn der zweite Durchlauf beginnt mit der Ausgabe des ersten. Dieselbe Schleife läuft im Training, wo die Parameter gerade angepasst werden, und in der Inferenz, wo die Parameter fest sind. Ein Looped-Modell bekommt so 24 Verarbeitungsschritte aus den Parametern von 12 Schichten, also der Hälfte.

Ein Looped Transformer ist ein KI-Modell, das jede Frage zwei- oder mehrmals durch denselben Block von Schichten schickt, wobei jeder Durchlauf die Ausgabe des vorigen als Eingabe nimmt. Eine Schicht ist ein Rechenschritt: Daten gehen hinein, die Parameter der Schicht verwandeln sie, und neue Daten kommen heraus. Die Parameter sind Zahlen, die im Training gelernt wurden. Tiefe ist die Zahl solcher Schritte, die eine Frage bekommt, und die Schleife kauft Tiefe ohne neue Parameter. Dieselbe Schleife läuft im Training und in der Inferenz. Im Training werden die Parameter nach jeder geprüften Antwort angepasst, also überleben nur Parameter, die funktionieren, wenn man sie noch einmal auf ihre eigene Ausgabe anwendet. In der Inferenz sind die Parameter fest, und nur die Daten ändern sich von Durchlauf zu Durchlauf. Google Research hat gemessen, was das bringt (ICLR 2025). Beim Addieren von acht dreistelligen Zahlen lag ein Modell mit 1 Schicht zu 0,1 % richtig, dasselbe Modell mit 1 Schicht, trainiert auf 12 Durchläufe, zu 99,9 %, und ein Modell mit 12 Schichten zu 100 %. Der Preis ist Zeit, denn jeder Durchlauf ist ein voller Lauf durch den Block: ein Modell mit 12 Schichten und zwei Durchläufen braucht etwa so lang wie ein Modell mit 24 Schichten. Der Verlust ist Platz für Fakten. In derselben Studie schlug ein Modell mit 12 Schichten und zwei Durchläufen ein Modell mit 24 Schichten bei kurzen, in Worten gestellten Mathe-Aufgaben, 34,3 gegen 29,3. Bei Wissensfragen verlor das Looped-Modell, 9,3 gegen 11,2, denn Fakten stecken in den Parametern, und das Looped-Modell hatte etwa halb so viele. Google hat die Zahl der Durchläufe vor dem Training festgelegt. Andere Looped-Modelle werden mit wechselnder Zahl trainiert, sodass die Zahl der Durchläufe in der Inferenz gewählt werden kann. So oder so läuft die Schleife im Modell, vor dem ersten Wort der Antwort, und das ist es, was die Schleife von Chain-of-Thought unterscheidet, wo das Modell seine Schritte in Worten ausschreibt.

Ein Looped Transformer ist ein KI-Modell, das eine Frage mehr als einmal durch denselben Block von Schichten schickt, sodass der zweite Durchlauf an dem arbeitet, was der erste hervorgebracht hat. Den eigenen Aufsatz Korrektur lesen funktioniert genauso. Du liest den Aufsatz einmal und bringst in Ordnung, was du siehst. Dann liest du ihn noch einmal. Deine Augen und dein Wissen haben sich nicht geändert, aber der Aufsatz schon, und die Korrekturen aus dem ersten Lesen legen Fehler frei, die vorher verdeckt waren. Dieses zweite Lesen ist die Schleife: du bist der Block von Schichten, und jedes Lesen ist ein Durchlauf. Die Alternative ist, den Aufsatz zwei verschiedenen Lesern zu geben, einem nach dem anderen. Jeder Leser bringt Wissen mit, das dir fehlt, also sind zwei Leser das gestapelte Modell, mit einem frischen Satz Parameter bei jedem Schritt. Zwei Leser fangen mehr Faktenfehler, und zwei Leser kosten zwei Personen statt einer. Wo das Bild bricht: ein zweites Lesen kostet dich nur Zeit, während ein zweiter Durchlauf durch ein Modell so viel Rechenleistung kostet wie eine zusätzliche Schicht.