Mistral 7B
#62 in Open-Source-SprachmodelleMistral AI · 7b · seit 27. September 2023 · 4× · zuletzt 09. Aug. 2026
23
Momentum
Mistral 7B ist ein Open-Source-Sprachmodell mit 7 Milliarden Parametern, das von Mistral AI im September 2023 veröffentlicht wurde. Es nutzt Grouped-Query Attention und Sliding Window Attention, um bei geringerem Rechenaufwand eine Leistung zu erzielen, die größere Modelle wie Llama 2 13B übertrifft. Das Modell ist textbasiert, unterstützt mehrere Sprachen und steht unter der freizügigen Apache-2.0-Lizenz zum kostenlosen Download und zur kommerziellen Nutzung zur Verfügung. Es dient häufig als Basis für Fine-Tuning-Projekte, etwa zur Dokumentenzusammenfassung.
Momentum-Verlauf
20.05.18.08.
Features
| Key-Benchmark (%) | MMLU: 60,1% (5-shot), übertrifft Llama 2 13B (55,6%) |
| Kontextfenster (Token) | 8.192 Token (Sliding-Window-Attention mit 4.096-Token-Fenster) |
| Lizenz | Apache 2.0 (uneingeschränkte Nutzung) |
| Multimodalität | Nein, reines Textmodell (keine Bild-/Audio-Unterstützung) |
| Plattform | Download/lokal, HuggingFace, Cloud (AWS/GCP/Azure) via vLLM/SkyPilot |
| Preis pro 1M Token | ca. $0,20 Input / $0,20 Output (Drittanbieter-API-Preise, variiert je Anbieter) |
| Release-Datum | 27. September 2023 |