Language
Mellum2
#5jetbrains · v2 · seit 2026-06-02 · 5× · zuletzt 29. Juni 2026
17
Momentum
Mellum2 ist ein Sprachmodell mit 12 Milliarden Parametern und einer Mixture-of-Experts-Architektur, das von JetBrains speziell für Softwareentwicklungsaufgaben optimiert wurde. Das Modell verfügt über 2,5 Milliarden aktive Parameter und wurde auf etwa 11 Billionen Tokens trainiert. Es wurde als Open-Source veröffentlicht und ist für Coding, Reasoning, Tool-Nutzung und agentenbasierte Workflows konzipiert.
Momentum-Verlauf
04.04.03.07.
Features
| Kontextgröße | 131.072 Tokens (≈128K); erreicht durch layer-selektives YaRN-Verfahren nach dem Pre-Training. Architektur kombiniert Sliding-Window-Attention (auf 3 von 4 Layern) mit Full-Attention-Layern. |