Was ist CUDA?

CUDA ist die Software, über die Programmierer Nvidias Grafikchips für allgemeines Rechnen nutzen, von Physiksimulationen bis zum Training von KI-Modellen, und eben nicht zum Zeichnen von Grafik. Ein Programmierer schreibt in einer gewöhnlichen Sprache wie C++ oder Python, und CUDA macht aus diesem Programm Arbeit, die die Tausenden Kerne des Chips gemeinsam erledigen können. Nvidia brachte es 2007 heraus; die erste Karte, die es ausführen konnte, trug 2006 bereits 128 Kerne. Es macht den Chip nicht schneller. Es macht den Chip erreichbar.

CUDA ist Nvidias Plattform zum Programmieren seiner Grafikchips: die Spracherweiterungen, Werkzeuge und fertigen Bibliotheken, über die die meiste Software die Tausenden Kerne einer GPU erreicht. Eine GPU nimmt ihre Arbeit in einer bestimmten Form entgegen, und vor 2007 war der praktische Weg hinein die Grafiksoftware, andere Probleme mussten also als Grafikarbeit umgeschrieben werden. CUDA gab allgemeinen Programmen einen direkten Weg hinein, und seither haben sich Code, Bibliotheken und ausgebildete Leute des Feldes darauf angesammelt. Zwei Dinge werden hier leicht verwechselt. Der Chip ist offen: andere Unternehmen schreiben ihre eigene Software, um mit diesen GPUs zu sprechen, und das funktioniert. Der Code ist es nicht: ein auf CUDA geschriebenes Programm läuft auf Nvidias Chips und praktisch nirgends sonst. Es umzuziehen hieße, CUDAs Bibliotheken für die Chips eines anderen Herstellers neu zu bauen, eine gewaltige Menge Software, die sich mit jeder Version ändert und Nvidia gehört. Versuche gibt es, und sie bleiben Jahre zurück. Eine Softwareschicht verspricht üblicherweise, dass sich das Darunterliegende austauschen lässt, und genau dieses Versprechen gibt CUDA nicht. Neue KI-Arbeit geht also dorthin, wo der vorhandene Code schon läuft, und die Wahl der Software hat die Wahl der Hardware getroffen. Von den 500 schnellsten Supercomputern der Welt liefen im November 2024 mehr als ein Drittel auf Nvidias GPUs.

CUDA ist die Partitur, und die GPU ist das Orchester. Seine 100 Spieler sitzen bereit, und kein Komponist läuft durch den Saal und sagt jedem Einzelnen, was er tun soll; das würde die ganze Nacht dauern und das Stück ruinieren. Die Partitur ist die Form, die alle auf einmal anspricht: einmal geschrieben, parallel gelesen, jeder Spieler findet seine eigene Zeile. Für Orchester schreiben lernen heißt, in dieser Form schreiben lernen. Gib denselben 100 Spielern stattdessen einen Aufsatz, und nichts geschieht, so glänzend der Aufsatz auch sei: die Spieler sind willig, aber die Form ist falsch. Das ist CUDA: nicht die Musiker, nicht die Musik, sondern die Form, die die Arbeit annehmen muss, um hundert Hände auf einmal zu erreichen.