テンソル処理装置（TPU）とは？

テンソル処理装置、略してTPUとは、一種類の計算だけをするためにGoogleが設計したチップです。その計算とは、数の格子どうしの掛け算です。ニューラルネットワークが時間の大半を費やしているのがこの仕事です。テンソルとはまさにそうした格子のことなので、このチップは自分が掛け合わせる対象の名を負っています。チップは梯子の段に並んでいて、一段上がるごとに、融通のきく幅を手放して一つの仕事の速さを得ます。CPUは何にでも対応できる賢いコアを数個だけ持ち、GPUは並列の仕事のために単純なコアを何千も持ち、TPUはただ一つの演算を自らの配線に鋳込みます。

テンソル処理装置とは、一種類の計算、すなわちニューラルネットワークが組み立てられている格子の掛け算だけを行い、ほかはほとんど何もしないチップです。Googleは意図してそう設計しました。チップが抱える能力は、使われずにいるあいだも場所と電力を食います。次に何を動かすかを決める回路、どんな種類の計算にも対応する回路といったものです。それらを削れば、空いた場所により多くの掛け算装置が入ります。2015年からGoogleのデータセンターで働いていた最初のTPUが、それで何が買えるかを示しています。掛け算装置一つがする仕事はごく小さく、数を一対、掛け合わせるだけです。あのチップはそれを65,536個同時に動かし、格子全体を一度に掃きました。普通のプロセッサが一度に数個ずつしか進めないところをです。この設計には代償があります。TPUは自分の一つの演算から遠い仕事には向けられないので、その演算が膨大な量で走る場所でこそ元が取れます。一日じゅうニューラルネットワークを動かしているGoogleはまさにそうした場所であり、だから検索の会社がチップを設計するのです。それ以外のAIの仕事の多くは、いまも融通のきくチップで走っています。TPUが主にGoogleのクラウド越しに借りるものであること、そして模型が変わり続けるあいだは融通のきくほうが安全であることが理由です。初期の世代は完成した模型を動かすことしかできず、問いを受けて答えを出すだけでしたが、後の世代は学習も行います。決して変わらないのは取り引きの中身です。配線から外された能力は、あとから足せません。

テンソル処理装置とは印刷機であり、普通のプロセッサは字を書く手です。手は頼まれたどんなページでも書けますが、速さは手の速さです。印刷機はちょうど一種類のページ、活字に組まれたそのページだけを刷り、その活字を組む作業は遅く、費用もかかります。けれど一度組んでしまえば、刷り上がりは千枚単位で流れ出し、どれだけ手を集めても敵いません。ページを変えれば組み直しになり、刷りの途中で詩を頼まれても応じられません。印刷機がペンを滅ぼしたことはありません。組む手間が引き合う唯一の場面を引き受けただけです。同じページが、膨大な部数で求められる場面です。それがTPUです。一枚のページを、シリコンに組んで、一日じゅう刷り続ける。