広帯域メモリ（HBM）とは？

広帯域メモリ、略してHBMとは、プロセッサと同じ台の上に積み重ねたチップの塔として作られたメモリで、千本を超える配線で結ばれ、その全部が同時にデータを運びます。比較のために言えば、普通のメモリ経路が使う配線は64本です。この幅が必要なのは、現代のプロセッサが計算を終えても、細い接続が次の数の束を届けきれないからで、つまり速さを決めるのは計算ではなく配達のほうです。HBMはその配達を広げ、同じ台の上に作られていることで一回ごとの道のりも短くします。数がチップに届く速さを変えるのであって、チップがその数で何をできるかを変えるのではありません。

広帯域メモリは、たった一つの問題のために設計し直されたメモリです。プロセッサが計算する速さの伸びに、普通のメモリが扱う数を届ける速さの伸びが追いつかなくなった、という問題です。この差にはメモリの壁という名前があり、AIチップの仕事の多くでは、計算速度ではなくこの壁が限界になります。HBMの答えは二つあります。一つめは幅です。細い接続をより速く走らせようとすると電力を食い、一歩ごとに難しくなるので、HBMは代わりに千本を超える配線を横に並べます。得られるものは配線の本数から来るのであって、一本ごとの速さから来るのではありません。二つめは近さです。メモリチップは塔のように積み重ねられ、プロセッサと同じシリコンの台に載せられるので、データの一回ごとの移動が短く、安く済みます。この組み合わせが何をもたらすかを見てください。もっとも単純な場合、数が100ギガバイトを占める模型は、一語書くたびに全部読まれます。毎秒2テラバイトを動かすメモリは毎秒2,000ギガバイトを動かすので、その100ギガバイトの読み出しを毎秒20回こなします。それが上限です。毎秒20語であり、計算を速くしてもこの数字は上がりません。上げられるのは、より広く、より近いメモリだけです。だからAIチップの仕様書では、速度の数値の隣に必ずメモリの数値が並ぶのであり、だからこのメモリは後から足せないのです。差込口に挿すのではなく、プロセッサの筐体に組み込まれているからです。

広帯域メモリとは、棚のすぐ横に置かれた、より広い梱包台のことです。倉庫で働く二人が、同じ手早さで注文をまとめています。一人の台は狭く、置ける品はひと握り、在庫は通路の奥、そして勤務時間の大半は歩くことに消えます。少し詰めて、歩いて、補充して、また戻る。もう一人の台は三倍の幅があり、次の注文に要るものが全部載っていて、棚までは腕を伸ばせば届きます。彼女は梱包そのものを速めていないのに、一時間あたりの発送数がはるかに多い。遅かったのは梱包ではなく、取りに行くほうだったからです。それがHBMです。同じ働き手、より広い面、より短い道のり。