Was ist Speicher mit hoher Bandbreite (HBM)?

Speicher mit hoher Bandbreite, kurz HBM, ist Speicher, der als Stapel von Chips auf derselben Platte wie der Prozessor sitzt und über mehr als tausend Leitungen mit ihm verbunden ist, die alle gleichzeitig Daten tragen. Zum Vergleich: ein gewöhnlicher Speicherkanal läuft über 64 Leitungen. Diese Breite gibt es, weil ein moderner Prozessor seine Rechnung fertig hat, bevor eine schmale Verbindung ihm den nächsten Schwung Zahlen liefert. Das Tempo bestimmt also die Lieferung, nicht das Rechnen. HBM verbreitert diese Lieferung, und weil der Speicher auf derselben Platte sitzt, bleibt jeder Weg zusätzlich kurz. Es ändert, wie schnell die Zahlen beim Chip ankommen, nicht was der Chip mit ihnen anfangen kann.

Speicher mit hoher Bandbreite ist Speicher, der um ein einziges Problem herum neu entworfen wurde: Prozessoren wurden schneller im Rechnen, als gewöhnlicher Speicher darin wurde, ihnen die Zahlen zu liefern, mit denen sie arbeiten. Diese Lücke hat einen Namen, die Speicherwand, und bei einem großen Teil der Arbeit eines KI-Chips ist die Wand die Grenze, nicht die Rechengeschwindigkeit. HBM antwortet darauf auf zwei Wegen. Erstens Breite. Eine schmale Verbindung immer schneller zu treiben kostet Strom und wird mit jedem Schritt schwieriger, also legt HBM stattdessen mehr als tausend Leitungen nebeneinander. Der Gewinn kommt aus der Zahl der Leitungen, nicht aus dem Tempo einer einzelnen. Zweitens Nähe. Die Speicherchips werden zu einem Turm gestapelt und auf dieselbe Siliziumplatte wie der Prozessor gesetzt, so dass jeder Weg der Daten kurz und billig ist. Das bringt diese Kombination. Im einfachsten Fall wird ein Modell, dessen Zahlen 100 Gigabyte füllen, für jedes Wort, das es schreibt, vollständig gelesen. Ein Speicher, der 2 Terabyte pro Sekunde bewegt, bewegt 2.000 Gigabyte, schafft diese 100-Gigabyte-Lesung also 20 Mal pro Sekunde. Das ist die Obergrenze: 20 Wörter pro Sekunde, und schnelleres Rechnen hebt sie nicht. Nur breiterer, näherer Speicher hebt sie. Deshalb stehen die Speicherangaben eines KI-Chips auf jedem Datenblatt neben den Geschwindigkeitsangaben, und deshalb lässt sich dieser Speicher nicht nachrüsten: er ist in das Gehäuse des Prozessors eingebaut, nicht in einen Steckplatz gesteckt.

Speicher mit hoher Bandbreite ist ein breiterer Packtisch, direkt neben den Regalen. Zwei Lagerarbeiter packen Bestellungen mit denselben flinken Händen. Der eine hat einen schmalen Tisch, auf den eine Handvoll Artikel passt, ein Lager weiter hinten im Gang und eine Schicht, die vor allem aus Laufen besteht: ein bisschen packen, laufen, nachfüllen, zurücklaufen. Die andere hat einen dreimal so breiten Tisch, beladen mit allem, was ihre nächsten Bestellungen brauchen, eine Armlänge von den Regalen entfernt. Sie verschickt weit mehr Pakete pro Stunde, ohne schneller zu packen, denn das Packen war nie der langsame Teil. Das Holen war es. Das ist HBM: dieselbe Arbeiterin, eine breitere Fläche, ein kürzerer Weg.