コンピュートクラスタとは？

コンピュートクラスタとは、独立したコンピュータを多数、高速な回線で結び、一つの仕事を全台で同時に走らせる仕組みです。一台一台が完結した機械で、自分の演算チップと自分のメモリを持っています。そのメモリはその機械だけのものなので、一台が計算した結果は、回線を通って送られるまで、ほかの機械には知られません。そのため千台に分けた仕事は、各ステップのあとでいったん止まり、互いの結果を交換し、次のステップは最も遅い一台の報告を待ちます。規模は台数ではなくチップ数で語られます。一台が複数のチップを載せるのが普通だからで、2026年には最大級のAI学習クラスタが10万チップ以上と発表されていました。

コンピュートクラスタとは、仕事が一台の機械に収まりきらなくなったときに建てるもので、数百台から数千台のコンピュータを配線でつなぎ、一つの問題に当たらせます。仕事を機械に分ければ時間も同じ割合で減るはずで、十台なら十分の一で終わりそうに思えます。そうはなりません。どの仕事にも分けられない部分があるからです。どの機械も動き出す前に必要な下準備がそれで、この固定部分は機械を何台足しても同じ大きさのままです。一台なら100日かかる仕事を考えます。うち5日がその固定の下準備、残る95日が分けられる作業だとします。十台なら95日は9.5日になり、仕事は10日ではなく14.5日で終わります。百台なら同じ95日は1日を切りますが、それでも約6日かかります。固定の5日が動かないからです。この5日は台数をいくら増やしても下回れない床で、その背後にある法則には名前があります。アムダールの法則です。ただし下準備は一度きりの費用です。走り出したあとは、機械どうしが得た結果を照らし合わせる必要があり、それはたいてい各ステップの終わりごとで、次のステップは最も遅い一台が報告するまで始まりません。この照合はすべて配線を通ります。だからこそ機械と機械をつなぐ回線は、機械そのものと同じだけ念入りに設計され、同じだけの値段がつくのです。すべてのクラスタがこの代価を払うわけではありません。互いに無関係な千の仕事を並べて走らせ、照合するものが何もないなら、ふつうのネットワークで十分に足ります。機械は壊れもします。しかも一台ずつが仕事の一片を抱えているので、故障は走行を遅くするのではなく止めてしまいます。数千台を一か月走らせれば、それは例外ではなく日常です。だから長い仕事は途中経過を一定間隔で保存し、最初からやり直す代わりに直前の保存地点から続けます。

コンピュートクラスタは、塔を一階ずつ積み上げる大所帯の職人集団のようなものです。仕事は一人の左官には大きすぎるので、四十人がその階に散り、それぞれが一区画を受け持ちます。この階の全区画が仕上がるまで、誰も上の階には取りかかれません。だから集団は最後に終わる者の速さで進み、腕のいい左官が早く終えても得るものはありません。しかも上に行く前に、区画どうしを突き合わせて水平を確かめる必要があり、その確認自体にも時間がかかります。左官を増やせば一区画は小さくなりますが、確認と待ち時間は増えていきます。クラスタも同じです。各機械が各ステップの一区画を受け持ち、全台が結果を照合するまで誰も先に進まず、機械が増えるほど、各ステップのうち働く時間より照らし合わせる時間の割合が増えていきます。