Token-Ebene

Ein Computerprogramm, das Sprache verarbeitet, liest keine Sätze so, wie Menschen sie lesen. Es zerlegt jeden Text vorher in kleine Stücke. Solche Stücke nennt man Token: ein ganzes kurzes Wort, ein Wortteil, ein Satzzeichen oder ein Leerzeichen. Aus « Fahrradkette » können zum Beispiel drei Stücke werden: « Fahr », « rad » und « kette ». Wenn man sagt, etwas passiere auf Token-Ebene, dann meint man: Es wird für jedes dieser Einzelstücke entschieden oder gemessen, nicht für den Satz und nicht für den ganzen Text. Die Token-Ebene ist also gewissermaßen die kleinste Auflösung, in der ein Sprachmodell die Welt sieht.

Warum Modelle in Textbausteinen denken müssen

Ein Modell muss mit Wörtern umgehen können, die es nie gesehen hat. Namen, Tippfehler, Fachbegriffe und Fremdsprachen kommen ständig vor. Ein festes Wörterbuch würde daran scheitern. Mit Wortteilen lässt sich dagegen fast alles zusammensetzen. Selbst ein erfundenes Wort wie « Blubberstuhl » ist aus bekannten Bausteinen darstellbar.

Die Token-Ebene ist außerdem die Einheit, in der bezahlt und gerechnet wird. Anbieter von KI-Diensten stellen ihre Preise pro tausend oder pro Million Token in Rechnung. Auch die Grenze dafür, wie viel Text ein Modell gleichzeitig überblicken kann, wird in Token angegeben. Wer diese Zahlen liest, sollte grob wissen: Im Deutschen entspricht ein Token im Schnitt ungefähr drei bis vier Buchstaben. Ein Roman mit 300 Seiten liegt damit bei mehreren Hunderttausend Token.

Ein häufiger Irrtum ist die Gleichsetzung von Token und Wort. Das stimmt bei kurzen englischen Wörtern oft, im Deutschen dagegen selten. Lange zusammengesetzte Wörter wie « Krankenversicherungsbeitrag » zerfallen in viele Stücke. Deshalb sind identische Texte in deutscher Fassung meist teurer zu verarbeiten als in englischer.

Ein Baustein nach dem anderen

Ein Sprachmodell erzeugt Text nicht als fertigen Block. Es berechnet für jeden nächsten Baustein eine Liste von Wahrscheinlichkeiten. Für alle möglichen Token steht dort, wie gut sie an dieser Stelle passen. Dann wird eines ausgewählt, an den Text angehängt, und die Rechnung beginnt von vorn. Genau diese Schleife läuft auf Token-Ebene.

Deshalb kann man an dieser Ebene auch messen und eingreifen. Wie sicher ein Modell an einer bestimmten Stelle war, lässt sich Baustein für Baustein ablesen. Sinkt die Sicherheit stark, ist die Aussage oft geraten. Filter für problematische Inhalte können ebenfalls hier ansetzen und einzelne Token unterdrücken. Auch eine Einstellung wie die Temperatur, die den Zufall bei der Auswahl steuert, wirkt bei jedem einzelnen Schritt.

Man kann Sprache auch auf gröberen Ebenen betrachten. Auf Satz-Ebene bewertet man ganze Aussagen, auf Dokument-Ebene ganze Texte. Diese Ebenen sind für Menschen verständlicher, aber das Modell selbst arbeitet feiner. Diese Lücke erklärt manches Verhalten. Ein Modell kann einen Satz sauber beginnen und ihn trotzdem falsch beenden, weil es beim Start noch keinen Plan für das Ende hatte.

Wo die Token-Ebene in Nachrichten und Produkten auftaucht

Am sichtbarsten wird sie beim Tippeffekt eines Chatbots. Die Antwort erscheint stückweise, weil sie stückweise entsteht. Was dort nacheinander aufpoppt, sind im Wesentlichen die einzelnen Token. Auch die Autovervollständigung in Suchfeldern und Programmierwerkzeugen arbeitet nach demselben Prinzip.

In Finanz- und Techmeldungen tauchen Token-Zahlen als Kennziffern auf. Firmen nennen Preise pro Million Token, Kontextfenster von 128.000 oder mehr Token und Ausgabegeschwindigkeiten in Token pro Sekunde. Diese Angaben sind die Währung, in der Leistung und Kosten von Sprachmodellen verglichen werden. Wer ein Angebot bewerten will, muss sie lesen können.

Ein Warnhinweis noch: Das Wort Token bedeutet in der Finanzwelt etwas völlig anderes. Dort ist ein Token ein digitaler Vermögenswert auf einer Blockchain. Mit der Token-Ebene in der Sprachverarbeitung hat das nichts zu tun. Bei gemischten Nachrichtenseiten lohnt es sich, kurz auf den Zusammenhang zu achten.