「過学習と学習不足の違い」とは？

過学習とは、モデルが訓練データをノイズごと細かく覚えすぎることで、訓練では高得点なのに新しいものにはつまずく状態だ。学習不足はその逆で、モデルが単純すぎてパターンをそもそも学べず、どこでも失敗する。

手がかりは二つの数字の差だ：訓練に使ったデータでの成績と、一度も見せていない取り置きデータでの成績。学習不足は両方で成績が悪く、モデルがパターンを掴めていない。過学習は訓練データで極めて高得点なのに取り置きデータで明らかに悪化する。科目を理解せず教材を丸暗記したからだ。原因は、過学習ならモデルが複雑すぎるかデータ不足か訓練が長すぎること、学習不足ならモデルが単純すぎるか入力が貧弱なことにある。対処は原因を映す：過学習にはデータ追加と正則化、学習不足にはより豊かなモデルと良い入力だ。これらは成績に出る症状で、背後の診断名が高バイアスと高バリアンスになる。

自宅の私道だけで運転を覚えるようなものだ：ひび割れも段差も全部暗記し、操作は完璧、それなのに高速道路では大混乱になる。覚えたのは運転ではなく私道だったからだ。それが過学習。学習不足のほうは、曖昧な講義を一度受けただけ — ペダルを踏めば車は動く — という状態で、私道でも高速道路でも同じように失敗する。