Was ist Test-Time Compute?

Test-Time Compute ist die Rechenleistung, die ein fertig trainiertes KI-Modell verbraucht, während es eine Frage beantwortet. Rechenleistung meint die Rechenoperationen der Chips, und mehr davon kostet Strom und Zeit. Ingenieure nennen das Ausführen eines fertigen Modells einen Test, also ist Test-Time die Antwortzeit, im Gegensatz zum Training, dem einmaligen Lauf, der das Modell gebaut hat. Dasselbe Modell beantwortet schwere Fragen öfter richtig, wenn es pro Antwort mehr rechnen darf. Es gibt drei Wege, das zu erlauben: vor der Antwort ausführlicher zu überlegen, eine Reihe von Antworten zu erzeugen und die häufigste zu nehmen, oder einen eigenen Prüfer die Versuche ordnen zu lassen. OpenAI zeigte die letzten beiden 2024 an einer Prüfung aus einem Mathematikwettbewerb mit 15 Aufgaben. Ein Modell, das jede Aufgabe einmal beantwortete, erreichte 74 %. Mit 64 Antworten pro Aufgabe, wobei die häufigste zählte, erreichte es 83 %. Mit 1.000 Antworten und einem Prüfer, der die beste auswählte, erreichte es 93 %. Das Modell blieb immer dasselbe. Die Rechnung nicht: Jeder zusätzliche Versuch ist Rechenarbeit, bezahlt in Sekunden auf der Uhr und im Preis der Antwort.

Test-Time Compute ist die Rechenarbeit, die ein KI-Modell in dem Moment leistet, in dem es antwortet, im Gegensatz zur Rechenarbeit, die es trainiert hat. Pro Frage mehr davon aufzuwenden, holt bessere Antworten aus einem Modell heraus, das schon gebaut ist. Rechenleistung wird in Operationen gemessen, weil Operationen das sind, was Chipstunden und Strom kostet, und die Wartezeit folgt daraus. Ingenieure nennen das Ausführen eines fertigen Modells einen Test, daher der Name. Das Training hat das Modell einmal festgelegt, und nichts hiervon ändert, was das Training gebaut hat. Mehr Aufwand zur Antwortzeit nimmt eine von drei Formen an. Das Modell kann vor der Antwort eine längere Überlegung ausschreiben, das ist Chain-of-Thought: Seine Antwort entsteht Wort für Wort, also bedeuten mehr Wörter vor dem letzten mehr Platz, um zu arbeiten, zu prüfen und es erneut zu versuchen. Es kann mehrere Antworten auf dieselbe Frage erzeugen und die häufigste nehmen, sodass ein zufälliger Ausrutscher in einem Versuch von den übrigen überstimmt wird. Oder ein eigener Prüfer, trainiert darauf, gute von schlechten Versuchen zu unterscheiden, ordnet die Versuche und wählt einen aus. Das Looping, bei dem ein Modell seine eigenen Schichten noch einmal durchläuft, bevor überhaupt ein Wort erscheint, ist eine vierte Form. Eine Studie von 2024 hat das mit einem Budget durchgerechnet. Vergleiche ein bescheidenes Modell mit einem 14-mal größeren. Das große leistet für jedes Wort ungefähr 14-mal so viel Rechenarbeit, also kann das kleine bei denselben Gesamtoperationen ungefähr 14-mal so viele Wörter oder Versuche erzeugen. Für mehr Versuche und Überarbeitungen ausgegeben, mit einem Prüfer, der zwischen ihnen wählt, schlug das Budget des bescheidenen Modells das des großen, aber nur bei Fragen, die das bescheidene Modell manchmal schaffte. Bei Fragen jenseits davon scheiterten mehr Versuche genauso, nur langsamer. Niemand schaut dabei in die Lösungen: Abstimmung und Prüfer arbeiten nur mit den Versuchen. Die Kosten fallen pro Frage an, bei der Inferenz: Jedes zusätzliche Wort und jeder zusätzliche Versuch ist Rechenarbeit, und deshalb dauern durchdachte Antworten länger und kosten mehr. Damit gibt es zwei Stellschrauben. Skalierungsgesetze beschreiben die erste, eingestellt, bevor das Modell existiert: seine Größe und wie viel Training es bekam. Test-Time Compute ist die zweite, eingestellt pro Frage, nachdem das Modell existiert, und ohne es zu verändern.

Test-Time Compute ist die Rechenleistung, die ein fertig trainiertes KI-Modell pro Frage verbraucht, und gibt man demselben Modell mehr davon, mehr Versuche oder mehr Überlegung, steigt seine Trefferquote bis zu einem gewissen Punkt. Rückwärts einparken funktioniert genauso. Ein erfahrener Fahrer kommt beim ersten Mal in eine enge Lücke. Ein weniger geübter Fahrer schafft es mit drei Versuchen meist auch, ohne mehr Können als beim ersten Versuch. Die zusätzlichen Versuche lohnen sich bei einer Lücke, die er fast schafft. Eine Lücke, die einfach zu kurz ist, bleibt leer, egal wie viele Versuche er macht, und jeder Versuch kostet Zeit und hält die Straße auf. Das Können des Fahrers ist die Größe und das Training des Modells, die Versuche sind das Test-Time Compute, die fast machbare Lücke ist die Frage in Reichweite und die zu kurze Lücke die Frage außerhalb. Hier endet der Vergleich: Ein Fahrer sieht, welcher Versuch geklappt hat, während ein Modell es von einer Abstimmung oder einem Prüfer gesagt bekommen muss.