テスト時計算（test-time compute）とは？

テスト時計算（test-time compute）とは、訓練済みのAIモデルが質問に答えている間に使う計算のことだ。計算とはチップが行う演算のことで、多く使えば電気代も時間もかかる。エンジニアは完成したモデルを動かすことをテストと呼ぶので、テスト時とは答える時のことで、モデルを作った一度きりの作業である訓練とは区別される。同じモデルでも、1回の答えに多くの演算を使ってよいとなると、難しい問題に正しく答える回数が増える。そのやり方は3つある。答える前にもっと長く推論する、答えをまとめて何個も出していちばん多いものを採る、別のチェック役に試行を順位づけさせる、の3つだ。OpenAIは2024年、15問の数学コンテストの試験で、あとの2つを示した。各問に1回だけ答えたモデルは74%。1問につき64回答え、いちばん多い答えを採ると83%。1,000回答え、チェック役が最良のものを選ぶと93%だった。モデルは一度も変わっていない。変わったのは請求額で、試行を1回増やすたびに演算が増え、時計の秒数と答えの価格で支払うことになる。

テスト時計算とは、AIモデルが答えるその瞬間に行う演算のことで、モデルを訓練した演算とは区別される。1問あたりこれを多く使うと、すでに出来上がったモデルからより良い答えを引き出せる。計算は演算の回数で測る。チップの稼働時間と電気代がかかるのは演算で、待ち時間もそこから生まれるからだ。エンジニアは完成したモデルを動かすことをテストと呼ぶので、この名前がある。訓練はモデルを一度決めたら終わりで、ここで述べることは訓練が作ったものを何も変えない。答える時に多く使うやり方には3つの形がある。モデルが答える前に長い推論を書き出す。これがチェーン・オブ・ソートで、答えは1語ずつ出てくるので、最後の語の前に語が多いほど、考え、確かめ、やり直す余地が増える。同じ質問に答えを何個も出していちばん多いものを採る。これなら1回の試行でたまたま出たミスは、残りに多数決で負ける。あるいは、良い試行と悪い試行を見分けるよう訓練された別のチェック役が、試行を順位づけして1つを選ぶ。語が1つも出る前にモデルが自分の層をもう一度通るループは、4つ目の形だ。2024年のある研究は、これに予算の考え方を当てはめた。控えめなモデルと、その14倍大きいモデルを比べる。大きいほうは1語ごとにおよそ14倍の演算をするので、演算の総量が同じなら、小さいほうはおよそ14倍の語や試行を出せる。それを試行と書き直しの追加に使い、チェック役に選ばせると、控えめなモデルの予算が大きいモデルの予算に勝った。ただし、控えめなモデルがときどき解ける問題に限っての話だ。それより難しい問題では、試行を増やしても同じように失敗し、遅くなるだけだった。この中で誰も解答を見てはいない。多数決もチェック役も、試行だけを材料にしている。費用は1問ごとに、推論の段階でかかる。語や試行が1つ増えるたびに演算が増えるので、考える答えは時間がかかり、価格も高く設定される。こうしてダイヤルは2つになる。1つ目はスケーリング則が表すもので、モデルが存在する前に決まる。その大きさと、どれだけ訓練されたかだ。テスト時計算は2つ目で、モデルが存在したあとに1問ごとに決まり、モデルを変えることはない。

テスト時計算とは、訓練済みのAIモデルが1問ごとに使う計算のことで、同じモデルにそれを多く与える、つまり試行を増やしたり推論を長くしたりすると、ある程度まで点数が上がる。縦列駐車も同じしくみだ。慣れたドライバーは狭いスペースに一発で入れる。経験の浅いドライバーも、3回まで切り返していいならたいてい入れる。腕前は1回目と少しも変わっていない。追加の試行が効くのは、経験の浅いドライバーがあと少しで入れられるスペースだ。そもそも短すぎるスペースは、何回やっても空いたままで、1回ごとに時間がかかり、道もふさぐ。ドライバーの腕前がモデルの大きさと訓練、切り返しの回数がテスト時計算、あと少しで入るスペースが手の届く問題、短すぎるスペースが手の届かない問題だ。たとえが通じるのはここまでだ。ドライバーはどの試行がうまくいったか自分で見えるが、モデルは多数決かチェック役に教えてもらうしかない。