Private LLM ist eine native iOS-, iPadOS- und macOS-App von Numen Technologies Limited, die quelloffene Sprachmodelle vollständig lokal auf Apple-Geräten ausführt, ohne Internetverbindung oder Cloud-Anbindung. Die App nutzt eine auf mlc-llm basierende Inferenz-Engine sowie eigene OmniQuant- und GPTQ-Quantisierung, um Modelle wie Llama 3.3, DeepSeek R1 Distill, Qwen3 und Gemma 3 effizient auf Smartphones und Macs laufen zu lassen. Sie wird als Einmalkauf ohne Abo vertrieben und ist seit Juni 2023 im App Store verfügbar. Die App bindet sich in Siri und Shortcuts ein, bietet aber keine eigene OpenAI-kompatible API oder Server-Funktion.

Belege (6)