「確率的勾配降下法（SGD）」とは？

SGDは、ほとんどのAIモデルが学習に使う方法だ：予測を出し、どれだけ間違ったかを測り、内部の設定を誤差が減る方向へほんの少しずつ動かし、それを何百万回も繰り返す。「確率的（ストキャスティック）」とは、各ステップでデータ全体ではなく小さなランダムな一群の例だけを確認することを指す。

モデルは何百万個もの小さなつまみが付いた機械で、その性能は「損失」と呼ばれる一つの誤差スコアで表される。それぞれのつまみについて、どちら向きに回せばそのスコアが小さくなるかは数学で計算でき、その方向を勾配と呼ぶ。降下とは、すべてのつまみをその向きへ少しだけ回し、スコアを測り直し、それを何百万回も繰り返すことだ。SGDが下す判断は、1回回す前にどれだけの例を確認するかにある。すべてを確認する、大きなモデルなら何百万枚もの画像を確認するやり方は、最も正確な方向を示すかわりに遅すぎて、1時間に数回しか回せない。一方、32個や64個といった少数のランダムな例なら方向は少しずれるが、同じ時間で何千回も回せる。少しずれた回転を何千回重ねるほうが、完璧な回転を数回行うよりスコアは速く下がる。しかも一群ごとに中身が違うので方向は揺らぎ、その揺らぎが、良さそうに見えて実は最良ではなかった設定からモデルを引き離してくれる。

濃い霧の中で山を下りるようなものだ。谷は見えないので、足の裏で傾斜を感じて一歩ずつ下る。一歩ごとに山全体を測量すれば完璧な方向は分かるが、永遠に終わらない。SGDはブーツの下の地面だけを読む方法で、読み取りは粗い代わりに歩数はずっと多く、時々つまずいて、本当の底ではない小さなくぼみから抜け出せたりもする。