Was ist ein Compute-Cluster?

Ein Compute-Cluster ist eine große Gruppe eigenständiger Computer, durch schnelle Verbindungen verbunden, damit ein einziger Auftrag auf allen zugleich läuft. Jeder Computer ist eine vollständige Maschine mit eigenen Rechenchips und eigenem Speicher. Weil dieser Speicher ihr allein gehört, muss alles, was eine Maschine ausrechnet, erst über die Verbindungen geschickt werden, bevor die übrigen es nutzen können. Ein Auftrag, der über tausend Maschinen verteilt ist, hält deshalb nach jedem Schritt an, damit die Maschinen austauschen, was sie herausgefunden haben, und der nächste Schritt wartet auf die langsamste. Die Größe wird in Chips angegeben und nicht in Maschinen, weil jede Maschine meist mehrere trägt: 2026 wurden die größten KI-Trainingscluster mit 100.000 Chips und mehr angekündigt.

Ein Compute-Cluster baut man, wenn ein Auftrag jede einzelne Maschine übersteigt: Hunderte oder Tausende Computer, miteinander verkabelt, um an einem Problem zu arbeiten. Einen Auftrag auf Maschinen aufzuteilen sollte die Zeit im gleichen Verhältnis teilen, zehn Maschinen also in einem Zehntel fertig sein. So kommt es nicht. Ein Teil jedes Auftrags lässt sich gar nicht aufteilen: die Vorbereitung, die jede Maschine braucht, bevor überhaupt eine anfangen kann, und dieser feste Teil bleibt gleich groß, wie viele Maschinen auch dazukommen. Angenommen, ein Auftrag dauert allein 100 Tage, davon 5 Tage feste Vorbereitung und 95 Tage teilbare Arbeit. Zehn Maschinen drücken die 95 Tage auf 9,5, der Auftrag ist also nach 14,5 Tagen fertig und nicht nach 10. Hundert Maschinen drücken dieselben 95 Tage auf unter einen, und der Auftrag dauert trotzdem noch etwa 6, weil die 5 festen Tage sich nicht bewegen. Diese 5 Tage sind ein Boden, unter den keine Zahl von Maschinen kommt, und die Regel dahinter hat einen Namen: das Amdahlsche Gesetz. Die Vorbereitung ist allerdings nur ein einmaliger Aufwand. Läuft der Auftrag erst, müssen die Maschinen vergleichen, was sie herausgefunden haben, üblicherweise am Ende jedes Schritts, und der nächste Schritt beginnt erst, wenn die langsamste sich gemeldet hat. Jeder dieser Austausche geht über die Verkabelung, und deshalb werden die Verbindungen zwischen den Maschinen ebenso sorgfältig entworfen und bezahlt wie die Maschinen selbst. Nicht jeder Cluster zahlt diesen Preis: tausend voneinander unabhängige Aufträge, die nebeneinander laufen und nichts zu vergleichen haben, kommen mit gewöhnlichen Netzen aus. Maschinen gehen außerdem kaputt, und jede hält ein Stück des Auftrags, ein Ausfall stoppt den Lauf also, statt ihn zu verlangsamen. Über ein paar tausend Maschinen und einen Monat hinweg ist das Alltag, lange Aufträge sichern ihren Fortschritt daher in Abständen und setzen beim letzten Stand wieder an, statt von vorn zu beginnen.

Ein Compute-Cluster ist wie eine große Kolonne, die einen Turm Stockwerk für Stockwerk hochzieht. Die Arbeit ist zu groß für einen Maurer, also verteilen sich vierzig über das Stockwerk, jeder nimmt einen Abschnitt. Niemand kann mit dem Stockwerk darüber anfangen, solange nicht jeder Abschnitt hier unten fertig ist. Die Kolonne bewegt sich also im Tempo dessen, der zuletzt fertig wird, und ein schneller Maurer gewinnt nichts, wenn er früher aufhört. Bevor es nach oben geht, müssen die Abschnitte außerdem gegeneinander geprüft werden, damit die Ebene stimmt, und dieses Prüfen kostet eigene Zeit. Nimm mehr Maurer dazu, und jeder Abschnitt wird kleiner, aber das Prüfen und das Warten wachsen. Ein Cluster arbeitet genauso. Jede Maschine nimmt einen Abschnitt jedes Schritts, keine geht weiter, bevor alle verglichen haben, und je mehr Maschinen es sind, desto mehr von jedem Schritt geht fürs Vergleichen statt fürs Arbeiten drauf.