ループ型トランスフォーマー（looped transformer）とは？

ループ型トランスフォーマー（looped transformer）とは、手順ごとに専用の層を用意する代わりに、同じ層のブロックに質問を何度も通すAIモデルのことだ。層とは計算の一段階で、データが入り、層のパラメータがそれを変換し、新しいデータが出てくる。パラメータは訓練で学んだ数値だ。24層の普通のモデルは、データを各層に一度ずつ通す。12層のループ型モデルは、データを12層すべてに通し、その出力をもう一度同じ12層に送り込む。パラメータは周回の間に変わらない。変わるのはデータで、2周目は1周目の出力から始まるからだ。同じループが訓練と推論の両方で回る。訓練ではパラメータが調整されている最中で、推論ではパラメータは固定されている。こうしてループ型モデルは、12層分のパラメータ、つまり半分の量で、24段階の処理を手に入れる。

ループ型トランスフォーマー（looped transformer）とは、同じ層のブロックに質問を2回以上通し、各周回が前の周回の出力を入力として受け取るAIモデルのことだ。層とは計算の一段階で、データが入り、層のパラメータがそれを変換し、新しいデータが出てくる。パラメータは訓練で学んだ数値だ。深さとは質問がそうした段階をいくつ受けるかで、ループは新しいパラメータなしに深さを買う。同じループが訓練と推論の両方で回る。訓練では答え合わせのたびにパラメータが調整されるので、自分の出力にもう一度適用しても機能するパラメータだけが生き残る。推論ではパラメータは固定され、周回ごとに変わるのはデータだけだ。Google Researchがこれで何が得られるかを測った（ICLR 2025）。三桁の数を8つ足す課題で、1層のモデルの正答率は0.1%、同じ1層のモデルを12周するよう訓練すると99.9%、12層のモデルは100%だった。代償は時間だ。1周はブロックを丸ごと通る処理なので、12層を2周するモデルは24層のモデルとほぼ同じ時間がかかる。失うのは事実を入れておく場所だ。同じ研究で、12層を2周するモデルは、文章で書かれた短い算数の問題で24層のモデルに34.3対29.3で勝った。一方で雑学の問題では9.3対11.2で負けた。事実はパラメータに蓄えられ、ループ型モデルはその量が半分ほどだったからだ。Googleは周回数を訓練前に固定した。周回数を変えながら訓練するループ型モデルもあり、その場合は推論のときに周回数を選べる。どちらにしても、ループはモデルの内側で、答えの最初の一語が出る前に回る。そこが、モデルが手順を言葉で書き出すチェーン・オブ・ソート（chain-of-thought）との違いだ。

ループ型トランスフォーマー（looped transformer）とは、同じ層のブロックに質問を何度も通し、2周目が1周目の生み出したものを材料に働くAIモデルのことだ。自分の作文を自分で読み直すのと同じ仕組みだ。一度読んで、目についたところを直す。それからもう一度読む。目も知識も変わっていないが、作文のほうは変わっていて、最初に直した箇所が、隠れていた間違いを浮かび上がらせる。この二度目の読みがループだ。あなたが層のブロックで、一回の読みが一周にあたる。もうひとつのやり方は、作文を別々の二人に順番に読んでもらうことだ。読む人はそれぞれあなたにない知識を持ち込むので、二人の読み手は層を積み上げたモデルにあたり、一段ごとに新しいパラメータが入る。二人のほうが事実の間違いを多く拾えるが、二人分の人手がかかる。たとえが崩れるところ。二度目の読みにかかるのは時間だけだが、モデルの2周目には層を一枚増やすのと同じだけの計算がかかる。