RDMA
RDMA (Remote Direct Memory Access) ist eine Netzwerktechnik, mit der ein Computer direkt in den Arbeitsspeicher eines anderen Computers schreibt oder liest – ohne dass dessen Prozessor dabei eingreifen muss. Das macht die Datenübertragung in Rechenzentren und KI-Clustern extrem schnell und effizient.
Wenn zwei Computer über ein Netzwerk Daten austauschen, läuft das normalerweise so ab: Der sendende Rechner schickt ein Paket, der Empfänger unterbricht seine Arbeit, sein Prozessor nimmt die Daten entgegen, legt sie ab und bestätigt den Empfang. Das kostet Zeit – und vor allem Rechenkapazität. RDMA, kurz für „Remote Direct Memory Access“, geht einen anderen Weg. Ein Computer schreibt dabei direkt in den Arbeitsspeicher eines anderen Rechners, ohne dass dessen Prozessor überhaupt aktiv werden muss. Der Empfänger merkt es gewissermaßen erst, wenn die Daten schon da sind. Das Prinzip ist vergleichbar damit, jemandem ein Buch auf den Schreibtisch zu legen, während er anderweitig beschäftigt ist – er muss die Tür nicht öffnen und nichts entgegennehmen. Möglich wird das durch speziell angepasste Netzwerkkarten, die den Datentransfer eigenständig abwickeln.
RDMA als Grundlage moderner KI-Cluster
Warum ist das so bedeutsam? KI-Modelle wie die großen Sprachmodelle, die hinter Chatbots stecken, werden nicht auf einem einzigen Chip trainiert. Stattdessen arbeiten Dutzende oder Hunderte von spezialisierten Rechenchips – sogenannten GPUs – gleichzeitig zusammen. Sie müssen dabei ständig Zwischenergebnisse untereinander austauschen. Bei Modellen mit Milliarden von Parametern, also Zahlenwerten, die das Modell ausmachen, passiert das tausende Male pro Sekunde.
Würde jede dieser Übertragungen den Prozessor beschäftigen, wäre er dauerhaft damit ausgelastet, Datenpakete zu verwalten, statt das eigentliche Training zu beschleunigen. RDMA lagert diese Aufgabe vollständig an die Netzwerkkarte aus. Der Prozessor bleibt frei. Latenz – also die Verzögerung zwischen Senden und Empfangen – sinkt auf einen Bruchteil einer Millisekunde. Für KI-Training ist das kein Komfortgewinn, sondern eine Voraussetzung: Ohne RDMA würden die Chips einen Großteil ihrer Zeit darauf warten, dass die nächste Runde Daten ankommt.
Wie RDMA den Prozessor umgeht
Der entscheidende Baustein ist die sogenannte RDMA-fähige Netzwerkkarte (auch NIC für Network Interface Card genannt). Sie kennt die Speicheradressen beider beteiligter Rechner und darf direkt darauf zugreifen – ein Verfahren, das man als DMA, also „Direct Memory Access“, bezeichnet. Beim normalen DMA passiert das innerhalb eines Computers, etwa wenn eine Festplatte Daten in den RAM schreibt, ohne den Prozessor zu belasten. RDMA erweitert dieses Prinzip auf zwei Rechner, die über ein Netzwerk verbunden sind.
Damit das funktioniert, müssen beide Seiten vorab einen gemeinsamen Speicherbereich registrieren und freigeben. Die Netzwerkkarten koordinieren dann den Transfer eigenständig. In der Praxis gibt es dafür zwei weit verbreitete Technologien: InfiniBand, ein spezielles Hochgeschwindigkeitsnetzwerk für Rechenzentren, und RoCE (RDMA over Converged Ethernet), das dasselbe Prinzip über herkömmliche Ethernet-Kabel umsetzt. Beide erreichen Übertragungsraten von mehreren hundert Gigabit pro Sekunde – also mehrere zehntausend Mal schneller als ein typischer Heimanschluss.
Ein häufiger Irrtum: RDMA macht das Netzwerk selbst nicht schneller, sondern es eliminiert den Umweg über den Prozessor. Die Leitungsgeschwindigkeit bleibt dieselbe; was sich verändert, ist, wie effizient diese Geschwindigkeit ausgenutzt wird.
RDMA in Produkten und Schlagzeilen
Wer von Nvidia-GPUs, Meta-KI-Clustern oder dem Microsoft-Rechenzentrum liest, das ChatGPT betreibt, liest implizit auch von RDMA. Nvidias NVLink und die zugehörigen InfiniBand-Netzwerke setzen vollständig auf RDMA, um Chips in einem Cluster so eng zu koppeln, als säßen sie auf einer einzigen Platine. Auch Cloud-Anbieter wie Amazon Web Services und Google Cloud bieten RDMA-fähige Instanzen an, die Kunden für aufwendiges KI-Training mieten können.
Außerhalb von KI begegnet RDMA vor allem in Hochleistungs-Datenbanken und im Finanzsektor. Dort kommt es auf Latenz im Mikrosekundenbereich an – etwa beim automatisierten Börsenhandel, wo ein Bruchteil einer Millisekunde über Gewinn oder Verlust entscheiden kann. Auch Supercomputer in der Klimaforschung oder Physik-Simulation nutzen RDMA seit Jahrzehnten; die KI-Welle hat der Technik aber zu einem neuen Bekanntheitsgrad verholfen und den Markt für entsprechende Hardware stark wachsen lassen.