
FP64
FP64 ist ein Zahlenformat für Prozessoren und Grafikchips, das jede Zahl mit 64 Bit speichert und damit sehr hohe Rechengenauigkeit bietet. In der KI-Entwicklung spielt es eine Nebenrolle, ist aber in Wissenschaft und Simulation unverzichtbar.
FP64 steht für „64-Bit-Gleitkommazahl“ — eine Methode, wie ein Chip Dezimalzahlen speichert und mit ihnen rechnet. Die 64 beschreibt, wie viele Bits, also binäre Stellen, für eine einzige Zahl reserviert sind. Je mehr Bits, desto mehr Nachkommastellen lassen sich darstellen, und desto kleiner ist der Fehler bei langen Rechnungen. FP64 gilt als das genauste Format, das in der alltäglichen Praxis verbreitet ist. Es wird deshalb auch „double precision“, also doppelte Genauigkeit, genannt — weil es doppelt so viele Bits verwendet wie das ältere FP32.
Genauigkeit als knappes Gut
Warum sollte es überhaupt verschiedene Formate geben? Mehr Bits kosten mehr: mehr Speicher, mehr Strom, mehr Zeit. Ein Chip, der in FP64 rechnet, braucht für dieselbe Aufgabe deutlich mehr Ressourcen als einer, der in FP32 oder FP16 rechnet. Das ist kein Problem, solange Genauigkeit wichtiger ist als Geschwindigkeit.
In der Wissenschaft ist das oft der Fall. Kleine Rechenfehler können sich über Millionen von Schritten aufschaukeln und das Ergebnis einer Simulation unbrauchbar machen. Für physikalische Simulationen, Klimamodelle oder Raumfahrtberechnungen ist FP64 deshalb der Standard. Ein Fehler in der sechsten Nachkommastelle kann dort über Erfolg oder Misserfolg entscheiden.
Wie 64 Bits eine Zahl beschreiben
Die 64 Bits sind in drei Gruppen aufgeteilt. Ein einzelnes Bit speichert das Vorzeichen — positiv oder negativ. Elf Bits beschreiben den Exponenten, also die Größenordnung der Zahl. Die restlichen 52 Bits speichern die eigentlichen Ziffern, die sogenannte Mantisse. Zusammen erlaubt das, Zahlen zwischen etwa 10 hoch minus 308 und 10 hoch 308 darzustellen, mit bis zu 15 bis 16 gültigen Dezimalstellen.
Zum Vergleich: FP32 hat nur 23 Bits für die Mantisse und kommt auf etwa 7 gültige Stellen. FP16, das in KI-Anwendungen beliebt ist, schafft noch weniger. Der Unterschied klingt abstrakt, wird aber konkret, wenn man bedenkt: Addiert man in FP16 die Zahl 1 zu einer Million, kann es passieren, dass das Ergebnis immer noch eine Million ist — weil das Format die kleinen Nachkommastellen einfach wegwirft. FP64 hätte dieses Problem nicht.
Moderne Grafikchips, sogenannte GPUs, sind ursprünglich für Spielegrafik gebaut worden. Dafür reicht niedrige Genauigkeit aus. Deshalb sind viele GPUs für FP32 oder FP16 optimiert und rechnen in FP64 deutlich langsamer — manchmal nur mit einem Sechzehntel der maximalen Geschwindigkeit. Chips für wissenschaftliches Rechnen, wie Nvidias H100, haben daher eine separate, stärkere FP64-Einheit.
FP64 in KI-Chips, Supercomputern und Benchmarks
In der KI-Forschung ist FP64 die Ausnahme. Das Training großer Sprachmodelle läuft fast immer in FP16 oder BF16, weil Geschwindigkeit dort wichtiger ist als maximale Genauigkeit. Die Modelle lernen aus riesigen Datenmengen und mitteln dabei ohnehin über viele Fehler hinweg. Kleine Ungenauigkeiten fallen kaum ins Gewicht.
Trotzdem taucht FP64 im KI-Kontext regelmäßig auf — als Kennzahl in Datenblättern. Chip-Hersteller geben die FP64-Leistung in TFLOPS an, also in Billionen Gleitkommaoperationen pro Sekunde. Dieser Wert dient als Vergleichspunkt zwischen verschiedenen Chips, auch wenn die meisten KI-Workloads ihn gar nicht ausnutzen. Wer also Chip-Benchmarks liest, sollte prüfen, ob der beeindruckende TFLOPS-Wert für FP64, FP32 oder FP16 gilt — die Unterschiede sind erheblich.
In der Praxis begegnet man FP64 vor allem dort, wo KI auf klassische Wissenschaft trifft: etwa bei Wettervorhersagen, bei der Simulation von Molekülen für die Medikamentenentwicklung oder beim Training physikalischer Modelle. Hier reicht FP16 nicht, und FP64 ist keine Luxus-Option, sondern schlicht notwendig.