スケーリング則とは？

スケーリング則とは、モデルの大きさ、学習させるデータ、そして学習に注ぐ計算力という3つが一緒に増えるにつれて、AIモデルがなめらかに、予測できる形で良くなっていくという観測された法則です。この規則性はとても安定しているので、研究所は小さく安価なモデルを学習させ、曲線を引き、はるかに大きなモデルがどれほど良くなるかを、お金を使う前に予測します。この予測可能性こそが、より大きなモデルを作る競争に火をつけました。

スケーリング則は、より多くを注ぎ込むとモデルがどれだけ良くなるかを述べたものです。モデルを大きくし、より多くの文章を与え、より多くの計算時間を与えると、誤りはなめらかな曲線に沿って小さくなります。小さな実験用のモデルから、これまでに作られた最大級のものまで、その曲線は保たれます。この規則性が価値のある部分です。最先端モデルの学習には数億ドルかかりますが、スケーリング則はその賭けを予測に変えます。小さなモデルを一群だけ学習させ、曲線を測り、高価なモデルがどれほどになるかを読み取ればよいのです。「則」という語を正直に保つ注意点が2つあります。同じ一段の向上ごとに、費用はおよそ前回の10倍かかります。だから予算はチップの棚からデータセンター全体へと膨らみました。そして大きさ、データ、計算時間は一緒でなければ効きません。巨大なモデルに文章が足りなければ、その大きさの大半が無駄になり、3つの釣り合いをどう取るかは、それ自体が科学の一分野です。さらにスケーリング則が予測するのは狭いこと、つまり次の語を当てる精度だけです。どの能力がどの規模で現れるのか、算術、翻訳、コード。そこについては、まさに何も語りません。

スケーリング則は小児科にある成長曲線のように働きます。2歳、3歳、4歳で身長を測れば、その点は十分に安定した曲線を描き、6年待たなくても10歳の身長を言い当てられます。これほど規則的な成長だからこそ予測が成り立ち、仕掛けはそれで全部です。この表が予測するのは身長で、身長だけです。発達の節目も年齢に沿ってはいますが、緩やかです。基準表が示すのは日付ではなく幅であり、身長の曲線を見てもその幅は狭まりません。ある子が60パーセンタイルに乗っていると分かっても、自転車がついに倒れなくなる週については何も分かりません。