「誤差逆伝播法（バックプロパゲーション）」とは？

誤差逆伝播法とは、ニューラルネットワークの何百万もの内部設定のそれぞれが、一つの誤りにどれだけ寄与したかを、誤差を層の逆向きに流すことで割り出すアルゴリズムだ。だからこそ、すべての設定を自分の取り分だけ修正できる。深いネットワークの学習を成立させている中核部分でもある。

学習は2回の走査で進む。順方向：入力が層を通り抜けて予測を出し、損失がその誤りの大きさを測る。逆方向：微積分の連鎖律を使い、その誤差が層を一つずつ遡って、各重みの責任の取り分、つまり勾配を、たった一回の走査で計算する。この一回の走査こそが突破口だ。何百万もの重みを一つずつ試すのは絶望的に遅いのに対し、逆伝播はすべてを一度に値付けするからだ。求まった勾配は最適化アルゴリズム、たいていは確率的勾配降下法に渡され、各重みが自分の責任と反対方向へ動かされる。順方向、逆方向、微調整。これをバッチごとに何百万回も繰り返す。逆伝播が方向を計算し、SGDが歩幅を進める。

Excelのゴールシークを、桁違いの規模でやるようなものだ。ゴールシークは数式と目標値と入力セル1つを受け取り、値を試し、ズレを測り、調整することで正しい入力を見つける。逆伝播はそれを入力セルが何百万個ある版でやるもので、出力がどれだけ外れたかという一度の測定から、すべてのセルの正確な調整量を計算する。