BaseRT ist eine native Metal-Inferenz-Runtime für große Sprachmodelle (LLMs), die von der Firma Base Compute (Melbourne/Berlin) speziell für Apple-Silicon-Geräte entwickelt wurde, ohne Zwischenschichten wie MLX, PyTorch oder CoreML zu nutzen. Das Produkt besteht aus einer CLI (basert), einem eigenen Modellformat (.base), einer OpenAI-kompatiblen Server-API sowie Sprachbindings für Python, Node, Rust und Swift. Laut Angaben des Herstellers und begleitender Forschungspapiere erreicht BaseRT auf Apple-M-Serien-Chips die bislang höchste gemessene Inferenz-Durchsatzrate unter allen getesteten lokalen Runtimes, u.a. schneller als llama.cpp und MLX. Das Kern-Repository ist quelloffen unter Apache-2.0 lizenziert, während die vorkompilierte Engine-Binärdatei einer separaten proprietären Lizenz unte

Belege (2)