ToolGradとは？

ToolGradとは、AIモデルにツールの呼び出し方を教える練習問題を作るための、Google Researchの手法だ。ツールコーリング（tool calling）とは、モデルが検索や地図のような外部ツールへの依頼を書き、それをアプリ（ハーネス、つまりモデルの周りにあるソフト）が実行することをいう。ToolGradは、まず動くツール呼び出しの連鎖を作り、ユーザーの質問はあとから、その連鎖に合わせて書く。2つの呼び出しからなる連鎖を例にとる。営業中という1項目だけを付けたfind_pharmacy、続いてget_directions。そのあとで初めて質問が書かれる。近くで今開いている薬局はどこで、歩いてどう行けばいい？ 以前の手法は先に質問を書き、それに答える呼び出しをあとから探した。Googleの集計では、その例のうち使えたのは63.8%で、ToolGradでは99.8%だった。ToolGradが書く質問には、それに答える呼び出しの連鎖が必ずある。連鎖のほうが先に作られているからだ。

ToolGradとは、AIモデルにツールの呼び出し方を教える練習問題を作るためのGoogle Researchの手法で、問題を逆向きに組み立てる。先にツール呼び出しの連鎖、ユーザーの質問はそのあとだ。ツールコーリングとは、モデルが検索やカレンダーのような外部ツールへの依頼を書き、アプリ（ハーネス、つまりモデルの周りにあるソフト）がそれを実行して結果を返すことをいう。モデルはこれを、訓練中に練習問題から学ぶ。ToolGradは訓練の前に動き、その練習問題を作る。アプリを使うとき（推論）に動くのは、訓練済みのモデルだけだ。練習問題はそれぞれ、質問と、正しい順番の正しい呼び出しと、最終的な答えでできている。何千問も手で書くのは遅すぎるので、研究機関はAIに作らせる。これが合成データの意味だ。以前の方法は質問から始めた。次にAIエージェントが、それに答える呼び出しを試行錯誤で探し、どの連鎖もうまくいかなければ、その問題は捨てられた。Googleの集計では、使えたのは63.8%で、100問中36.2問が無駄になった。ToolGradは連鎖から始める。役に立ちそうなツールをいくつか提案し、実際に試し、どの呼び出しがいちばんうまくいったかをAIの審査役に短く書かせる。このメモがテキスト勾配だ。勾配とは、訓練でどちらへ調整するかを示す信号のことで、このメモは同じ役目を言葉で果たす。いちばん良かった呼び出しが連鎖に加わり、ループがもう一周する。連鎖が完成すると、AIがそれに合う質問と答えを書く。こうして作った問題の99.8%が使えるものになり、連鎖も長くなった。2.1回に対して3.4回の呼び出しだ。Googleはこの方法で500問を作り、誰でもダウンロードできる自社のオープンモデルGemma 3 12Bをそれで訓練した。ツールコーリングのテストであるBFCLで、このモデルは83.1を記録した。その訓練の前より6.3ポイント高く、当時のGemini 2.5 Proの83.2と並ぶ数字だ。限界は2つある。これらのモデルとの比較は、1つのテストと500問に基づいている。そして、答えに合わせて書いた質問は、人が実際に聞く言い方にはならないことがある。

ToolGradとは、AIモデルにツールの呼び出し方を教える練習問題を作る手法で、先にツール呼び出しの連鎖を作り、質問はあとで書く。クロスワードを作るのも同じしくみだ。作り手はまずマスを単語で埋め、ヒントは最後に書く。どのヒントにも答えがある。ヒントができる前から、答えがマスに入っていたからだ。先にヒントを30個書いてから答えをマスにはめようとする作り手は、ちょうどいい長さの単語がどれも当てはまらないヒントを抱えることになる。埋まったマスが先に作られた呼び出しの連鎖で、ヒントがあとで書かれた質問だ。当てはまらないヒントを抱えた作り手は以前の手法で、先に質問を書き、答えられなかった問題を捨てていた。たとえが通じるのはここまでだ。作り手はマスを一気に埋めるが、ToolGradは連鎖を呼び出し1つずつ作り、ツールを試して、うまくいったものを残していく。