Gated DeltaNet

Programme wie ChatGPT lesen einen Text Wort für Wort und sagen dann das nächste Wort voraus. Die übliche Bauweise dahinter behält dabei jedes einzelne bisherige Wort im Zugriff und vergleicht es bei jedem Schritt mit allen anderen. Das ist sehr genau, wird bei langen Texten aber schnell teuer. Gated DeltaNet geht einen anderen Weg: Es führt einen festen Notizblock mit, dessen Größe sich nie ändert. Bei jedem neuen Wort wird dieser Notizblock ein Stück verändert, dann geht es weiter. Der Name beschreibt genau das: « Delta » steht für eine kleine Änderung, « Gated » für einen Regler, der steuert, wie stark Altes verblasst.

Warum feste Notizblöcke bei langen Texten gewinnen

Die heute dominierende Bauweise heißt Transformer. Sie speichert für jedes gelesene Wort einen Eintrag und schaut bei jedem neuen Wort auf alle alten Einträge zurück. Bei 100 Wörtern ist das harmlos. Bei 100.000 Wörtern wächst der Aufwand quadratisch, also etwa auf das Millionenfache. Genau deshalb sind sehr lange Eingaben in KI-Produkten teuer und langsam.

Gated DeltaNet hat dieses Problem nicht. Der Notizblock bleibt gleich groß, egal ob 100 oder 100.000 Wörter kommen. Jedes Wort kostet ungefähr denselben Rechenaufwand. Das nennt man lineare Skalierung, im Gegensatz zur quadratischen des Transformers.

Der Preis dafür ist Vergessen. Ein Transformer kann theoretisch jedes Wort exakt wieder hervorholen. Ein festes Gedächtnis muss Platz schaffen und dabei entscheiden, was unwichtig war. Der Streitpunkt in der Forschung ist deshalb nicht die Geschwindigkeit, sondern wie viel Genauigkeit man dabei verliert.

Löschen und Überschreiben: die zwei Regler im Gedächtnis

Der Notizblock ist mathematisch eine große Tabelle aus Zahlen, eine sogenannte Matrix. Sie funktioniert wie ein Zettelkasten mit Schlüsseln und Werten. Kommt ein neues Wort, wird es in einen Suchschlüssel und einen zugehörigen Inhalt umgerechnet. Dann wird der Zettelkasten passend zu diesem Schlüssel aktualisiert.

Der erste Regler ist die Delta-Regel. Sie schaut zuerst nach, was unter dem Schlüssel schon gespeichert ist, und ersetzt nur die Differenz zum neuen Inhalt. Ältere Ansätze addierten neue Informationen einfach oben drauf. Dabei überlagerten sich Einträge, bis nichts mehr klar herauszulesen war. Die Delta-Regel überschreibt gezielt statt zu stapeln.

Der zweite Regler ist das Gate, ein Torventil. Es ist eine Zahl zwischen 0 und 1, die das Modell für jedes Wort selbst berechnet. Nahe 1 bleibt das alte Gedächtnis fast unverändert erhalten. Nahe 0 wird es weitgehend geleert, etwa am Anfang eines neuen Kapitels. Gated DeltaNet kombiniert beides: Das Gate löscht großflächig, die Delta-Regel korrigiert präzise. In der Praxis wird die Architektur meist gemischt eingesetzt, also einige Schichten Gated DeltaNet und wenige klassische Transformer-Schichten für exakte Rückgriffe.

Wo die Technik in Modellen und Schlagzeilen auftaucht

Gated DeltaNet stammt aus einer Forschungsarbeit von 2024 und wird seit 2025 in echten Modellen verbaut. Bekannt geworden ist es unter anderem durch Qwen3-Next, ein offen verfügbares Modell des chinesischen Konzerns Alibaba. Auch Nvidia setzt die Idee in eigenen Modellreihen ein. Es ist damit keine Laborkuriosität, sondern Teil aktueller Produkte.

Als Nutzer bemerkt man die Bauweise indirekt. Sie steckt hinter Angeboten, die riesige Dokumente auf einmal verarbeiten: ein ganzes Buch, ein Jahresbericht, eine komplette Programmiersammlung. Auch lange Chatverläufe, in denen das Modell den Anfang nicht sofort verliert, profitieren davon.

In Börsen- und Techniknachrichten begegnet dir der Begriff im Umfeld von Stichworten wie « lineare Aufmerksamkeit » oder « Kontextlänge ». Verwandt sind Architekturen wie Mamba, die ebenfalls auf ein festes Gedächtnis setzen, aber anders aktualisieren. Wirtschaftlich interessant ist das alles aus einem einzigen Grund: Jede eingesparte Rechenoperation senkt die Stromrechnung im Rechenzentrum.