「量子化」とは？

量子化は、数値を粗く保存してAIモデルを縮める技術だ。メモリが減り、小さく安い機材で動く。うまくやれば品質はほぼ落ちない。

モデルは重みと呼ばれる数十億個の数値で、通常は1個16ビットで保存される。量子化はこれを8ビットや4ビットに詰め直し、700億重みのモデルなら約140ギガバイトが4ビットで約35まで落ちる。完全版はデータセンター用GPUにも収まらないが、縮んだ版はハイエンドの民生グラフィックカード1枚に載る。うまくいくのは重みが狭い範囲に固まっているからで、うまく選んだ粗い目盛りなら失うものは少ない。ベンチマークは8ビットで数パーセント下がる程度、4ビットでもまだ実用に耐える。それ以下は荒れ始め、2ビット版は目に見えて劣ることが多い。速度もたいてい上がる。モデル実行で遅いのはメモリから大量の数値を運ぶ部分で、数値が小さければ運ぶ量も減るからだ。これこそローカルAIが存在できる最大の理由で、昨日の最先端モデルがゲーム用の機材で動く。

写真を送るために縮小する。元のファイルは巨大だが、画質を下げて保存すればサイズは10分の1になり、スマホの画面では誰も気づかない。うんと拡大すれば粗は見つかるものの、日常の用途なら写真は役目を果たす。