Was ist eine Tensor Processing Unit (TPU)?

Eine Tensor Processing Unit, kurz TPU, ist ein von Google entworfener Chip für eine einzige Art von Rechnung: das Multiplizieren von Zahlengittern. Das ist die Arbeit, mit der neuronale Netze die meiste Zeit verbringen. Ein Tensor ist genau so ein Gitter, der Chip trägt also den Namen dessen, was er multipliziert. Chips stehen auf den Sprossen einer Leiter, und jede Sprosse gibt Flexibilität ab für mehr Tempo bei einer Aufgabe. Eine CPU behält ein paar Kerne, klug genug für alles; eine GPU behält Tausende einfacher Kerne für parallele Arbeit; eine TPU gießt die eine Operation in ihre Verdrahtung.

Eine Tensor Processing Unit ist ein Chip, der eine einzige Art von Rechnung ausführt, die Gittermultiplikation, auf der neuronale Netze aufgebaut sind, und fast nichts sonst. Google hat ihn so entworfen. Jede Fähigkeit, die ein Chip mitträgt, kostet Platz und Strom, auch wenn sie ungenutzt bleibt: Schaltungen, die entscheiden, was als Nächstes läuft, und die mit jeder Art von Programm umgehen. Nimm sie weg, und der frei gewordene Platz fasst mehr Multiplikationseinheiten. Die erste TPU, seit 2015 in Googles Rechenzentren im Einsatz, zeigt, was das bringt. Eine Multiplikationseinheit erledigt eine winzige Aufgabe: sie multipliziert ein Zahlenpaar. Jener Chip trug 65.536 davon, die gleichzeitig arbeiteten, und fegte ein ganzes Gitter in einem Durchgang durch, während ein gewöhnlicher Prozessor immer nur ein paar Zahlen auf einmal nimmt. Der Entwurf hat einen Preis. Eine TPU lässt sich nicht weit von ihrer einen Operation weg richten, sie verdient sich also dort, wo diese Operation in gewaltigem Umfang läuft. Google, das den ganzen Tag neuronale Netze rechnet, ist so ein Ort, und deshalb entwirft ein Suchunternehmen Chips. Der übrige KI-Betrieb läuft weiterhin überwiegend auf flexibleren Chips, teils weil TPUs vor allem über Googles Cloud gemietet werden, teils weil Flexibilität sicherer ist, solange sich die Modelle weiter ändern. Die frühen Generationen konnten nur fertige Modelle ausführen, Fragen aufnehmen und Antworten erzeugen; spätere übernehmen auch das Training. Was sich nie geändert hat, ist der Tausch: die Fähigkeiten, die aus der Verdrahtung herausgelassen wurden, lassen sich nicht nachtragen.

Eine Tensor Processing Unit ist eine Druckerpresse, wo ein gewöhnlicher Prozessor eine schreibende Hand ist. Die Hand bringt jede Seite hervor, um die man sie bittet, im Tempo einer Hand. Die Presse bringt genau eine Seite hervor, die in ihre Lettern gesetzte, und dieses Setzen ist langsam und teuer. Doch sind die Lettern einmal gesetzt, laufen die Abzüge zu Tausenden aus der Presse, schneller als jede Zahl von Händen. Ändere die Seite, und die Presse muss neu gesetzt werden; verlange mitten im Lauf ein Gedicht, und sie kann nicht dienen. Pressen haben Federn nie ersetzt. Sie übernahmen die eine Lage, die den Aufwand lohnt: dieselbe Seite, in gewaltiger Zahl verlangt. Das ist die TPU: eine Seite, in Silizium gesetzt, den ganzen Tag gedruckt.