Was ist ToolGrad?

ToolGrad ist eine Methode von Google Research, um die Übungsbeispiele zu erzeugen, mit denen ein KI-Modell lernt, Tools aufzurufen. Tool Calling heißt, dass das Modell eine Anfrage an ein externes Tool schreibt, etwa eine Suche oder eine Karte, die dann die App (die Harness, die Software rund um das Modell) ausführt. ToolGrad baut zuerst eine funktionierende Kette von Tool-Aufrufen und schreibt die Frage des Nutzers danach, passend zur Kette. Nimm eine Kette aus zwei Aufrufen: find_pharmacy mit jetzt geöffnet als einzigem Feld, danach get_directions. Erst dann wird die Frage geschrieben: Welche Apotheke in meiner Nähe hat jetzt offen, und wie komme ich zu Fuß hin? Die ältere Methode schrieb zuerst die Frage und suchte dann nach Aufrufen, die sie beantworten. Google zählte 63,8 % ihrer Beispiele als brauchbar, gegenüber 99,8 % bei ToolGrad. Jede Frage, die ToolGrad schreibt, hat bereits eine Kette von Aufrufen, die sie beantwortet, weil die Kette zuerst gebaut wurde.

ToolGrad ist eine Methode von Google Research, um die Übungsbeispiele zu erzeugen, mit denen ein KI-Modell lernt, Tools aufzurufen, und sie baut jedes Beispiel rückwärts: zuerst die Kette der Tool-Aufrufe, danach die Frage des Nutzers. Tool Calling heißt, dass das Modell eine Anfrage an ein externes Tool schreibt, etwa eine Suche oder einen Kalender, die die App (die Harness, die Software rund um das Modell) ausführt, bevor sie das Ergebnis zurückgibt. Ein Modell lernt das aus Übungsbeispielen im Training. ToolGrad läuft vor dem Training, um diese Beispiele zu erzeugen. Wenn du die App benutzt (Inferenz), läuft nur das fertig trainierte Modell. Jedes Beispiel besteht aus einer Frage, den richtigen Tool-Aufrufen in der richtigen Reihenfolge und der endgültigen Antwort. Tausende davon von Hand zu schreiben dauert zu lange, also lassen Labore sie von einer KI erzeugen, und genau das bedeutet synthetische Daten. Die ältere Methode begann mit der Frage. Dann suchte ein KI-Agent per Versuch und Irrtum nach Tool-Aufrufen, die sie beantworteten, und wenn keine Kette funktionierte, wurde das Beispiel verworfen. Googles Zählung: 63,8 % waren brauchbar, also gingen 36,2 von 100 verloren. ToolGrad beginnt mit der Kette. Es schlägt ein paar Tools vor, die helfen könnten, probiert sie aus und lässt einen KI-Prüfer kurz notieren, welcher Aufruf am besten funktioniert hat. Diese Notiz ist der textuelle Gradient. Ein Gradient ist im Training das Signal, das sagt, in welche Richtung angepasst wird, und dieser hier erledigt dieselbe Aufgabe in Worten. Der beste Aufruf kommt in die Kette, und die Schleife beginnt von vorn. Wenn die Kette fertig ist, schreibt die KI die Frage und die Antwort, die dazu passen. Von diesen Beispielen waren 99,8 % brauchbar, und die Ketten waren länger, 3,4 Aufrufe gegenüber 2,1. Google erzeugte auf diese Weise 500 Beispiele und trainierte damit sein offenes Modell Gemma 3 12B (eines, das jeder herunterladen kann). Bei BFCL, einem Test für Tool Calling, erreichte das Modell 83,1, also 6,3 Punkte mehr als vor diesem Training und gleichauf mit den damaligen 83,2 von Gemini 2.5 Pro. Zwei Grenzen. Der Vergleich mit diesen Modellen beruht auf einem einzigen Test und 500 Beispielen. Und eine Frage, die passend zu einer Antwort geschrieben wurde, klingt vielleicht nicht so, wie ein Mensch fragen würde.

ToolGrad ist eine Methode, um die Übungsbeispiele zu erzeugen, mit denen ein KI-Modell lernt, Tools aufzurufen, und sie baut zuerst die Kette der Tool-Aufrufe und schreibt die Frage danach. Ein Kreuzworträtsel zu erstellen funktioniert genauso. Wer das Rätsel macht, füllt zuerst das Gitter mit Wörtern und schreibt die Hinweise zuletzt. Jeder Hinweis hat eine Lösung, weil die Lösung schon im Gitter stand, bevor es den Hinweis gab. Wer zuerst 30 Hinweise schriebe und dann versuchte, Lösungen ins Gitter zu bekommen, bliebe auf Hinweisen sitzen, die kein Wort der richtigen Länge erfüllen kann. Das gefüllte Gitter ist die zuerst gebaute Kette von Tool-Aufrufen, und die Hinweise sind die danach geschriebenen Fragen. Der Rätselmacher mit unlösbaren Hinweisen ist die ältere Methode, die zuerst die Frage schrieb und die Beispiele verwarf, die sie nicht beantworten konnte. Hier endet der Vergleich: Ein Rätselmacher füllt das Gitter in einem Rutsch, während ToolGrad seine Kette Aufruf für Aufruf baut, Tools ausprobiert und den behält, der funktioniert hat.