vLLM 0.20.0
#15 in LLM-Inferenz & ServingVllm · v0.20.0 · 4× · zuletzt 30. Juni 2026
1
Momentum
vLLM 0.20.0 ist ein Open-Source-Release der quelloffenen Inferenz- und Serving-Engine vLLM (Apache-2.0-Lizenz), die für hohen Durchsatz und effizientes Speichermanagement (PagedAttention) bei LLM-Inferenz ausgelegt ist. Das Release umfasst 752 Commits von 320 Contributors und bringt initiale DeepSeek-V4-Unterstützung, TurboQuant 2-Bit-KV-Cache-Quantisierung für vervierfachte KV-Cache-Kapazität, FA4 als Standard für MLA-Prefill sowie einen DeepSeek-spezifischen MegaMoE-Pfad auf Blackwell-GPUs. Zudem wechselt die Standard-Toolchain auf CUDA 13.0, PyTorch 2.11 und HuggingFace Transformers v5.
Momentum-Verlauf
20.05.18.08.
Features
| Deployment (Self-host/Cloud) | Self-Hosting via pip/Docker (vllm/vllm-openai Image), Kubernetes, Multi-GPU/Multi-Node; keine eigene Cloud-Hosting-Option |
| Durchsatz/Latenz | TurboQuant 2-Bit-KV-Cache: 4x KV-Kapazität; fused RMSNorm: ca. 2,1% End-to-End-Latenzverbesserung |
| Lizenz | Apache 2.0 (permissiv, kommerzielle Nutzung erlaubt) |
| Plattform | Linux; NVIDIA CUDA 13.0 (Standard), AMD ROCm, Intel XPU, TPU, CPU (inkl. ARM/RISC-V/PowerPC); PyTorch 2.11, Python bis 3.14 |
| Preis | Kostenlos, Open Source (keine Lizenzgebühren) |
| Protokoll-Kompatibilität | OpenAI-kompatibler HTTP-Server (Completions, Chat, Embeddings, Rerank u.a. Endpunkte) |
| Release-Datum | 28. April 2026 (v0.20.0) |
| Unterstützte Modelle/Provider | DeepSeek V4 (initial), Hunyuan v3 (Preview), plus breite HF-Transformers-v5-Modellbasis (Llama, Mistral, Qwen u.a.) |