Ollama bringt bis zu 20 % schnellere Apple Silicon Inferenz: MLX-Engine, NVFP4-Quantisierung und Snapshots für agentische Workflows

Ollama hat das neueste Update der MLX-Engine für Apple Silicon veröffentlicht, das erhebliche Verbesserungen bei der Token-Generierungsgeschwindigkeit, der Quantisierungspräzision und der Unterstützung für agentische Workflows bringt. Das Update positioniert Apple Silicon als ernsthafte Alternative zu spezialiserter Inferenzhardware für den Betrieb moderner, anspruchsvoller Sprachmodelle.

Was bedeutet das MLX-Engine-Update für Apple Silicon-Nutzer?

MLX (Machine Learning eXecution) ist Apples Machine-Learning-Framework, optimiert für die Apple Silicon-Architektur und ihren Unified Memory. Ollamas MLX-Engine-Update bringt höhere Generierungsgeschwindigkeiten, bessere Qualität der Ausgaben und kürzere Time-to-First-Token auf allen Geräten mit Apple Silicon. Neben der Beschleunigung führt das Update drei wichtige technologische Neuerungen ein: NVFP4-Quantisierung, ein Snapshot-System für agentische Workflows und native Unterstützung für Thinking-Modelle.

Bis zu 20 Prozent schnellere Token-Generierung

Die aktualisierte MLX-Engine erzielt bis zu 20 Prozent schnellere Token-Generierung auf Apple Silicon-Geräten. Die Geschwindigkeitssteigerung wird durch zwei Hauptmechanismen erreicht:

• Metal-Kernel-Fusionen (Fused Metal Kernel Operations) — durch das Zusammenführen mehrerer Operationen in eine wird der Kommunikations-Overhead zwischen Prozessorkernen reduziert, was den Durchsatz direkt steigert
• GPU-basiertes Sampling — der Prozess der Auswahl des nächsten Tokens findet jetzt vollständig auf der GPU statt, was teure Datentransferpfade zwischen Prozessor-Subsystemen eliminiert

Die Kombination dieser Optimierungen bedeutet, dass Ollama-Nutzer auf MacBook Pro, Mac Studio und Mac Pro deutlich schnellere Modellantworten erhalten, ohne jegliche Konfigurationsänderung.

NVFP4: neue Quantisierungsstufe für Desktop-Inferenz

Eine der bedeutendsten Ergänzungen in diesem Update ist die Unterstützung für Nvidias NVFP4-Quantisierungsformat. Quantisierung ist eine Technik, die die Präzision der Modellgewichte reduziert, um schnellere Ausführung und geringeren Speicherbedarf zu erzielen, mit unvermeidlichem Qualitätsverlust.

NVFP4 bietet ein hervorragendes Gleichgewicht: Das Format halbiert den Qualitätsverlust der 4-Bit-Quantisierung im Vergleich zu nicht quantisierten BF16-Gewichten. Einfacher ausgedrückt: Modelle, die mit NVFP4 quantisiert werden, behalten deutlich mehr Details und Präzision in den Antworten als mit Standard-4-Bit-Quantisierung komprimierte Modelle — was den Unterschied macht zwischen einem Modell, das bei komplexem Schlussfolgern Fehler macht, und einem, das zuverlässig arbeitet.

Ollama hat die Leistung am Modell Gemma 4 12B auf einem MacBook Pro M5 Max getestet und damit demonstriert, dass Rechenzentrumsmodelle jetzt auf Desktop- und Laptopcomputern mit akzeptabler Qualität betrieben werden können.

Snapshot-System für agentische Workflows

Das neue Update führt ein Snapshot-System ein, das direkt eine der zentralen Herausforderungen in agentischen Workflows löst: die redundante Verarbeitung desselben Kontexts mehrfach bei der Verzweigung von Gesprächen oder Wiederholungsversuchen.

Das Snapshot-System funktioniert auf mehrere Arten:

• Speichern des Modellzustands an Gesprächsverzweigungspunkten und in wichtigen Verarbeitungsintervallen
• Unterstützung für mehrere konkurrierende Agenten — jeder Agent kann die Arbeit aus einem eigenen, unabhängig gespeicherten Snapshot fortsetzen, ohne gegenseitige Störung
• Unterstützung für Thinking-Modelle, bei denen Reasoning-Token zwischen Gesprächszügen verworfen werden — Snapshots stellen sicher, dass der Kontext nicht von Anfang an neu verarbeitet werden muss
• Verzweigungs- und Wiederholungsszenarien ohne die Notwendigkeit einer vollständigen erneuten Verarbeitung des gesamten Kontexts

Das Snapshot-System arbeitet zusammen mit Präfix-Caching, das redundante Berechnungen zwischen Tool-Aufrufen und Multi-Agenten-Übergaben minimiert.

Präfix-Caching und Thinking-Modelle

Zusammen mit dem Snapshot-System führt Ollama auch native Unterstützung für Thinking-Modelle ein — eine Kategorie von Modellen, die eine interne Gedankenkette generieren, bevor sie eine endgültige Antwort geben. Präfix-Caching reduziert den Rechenaufwand für wiederholte Kontexte, die in langen Gesprächen und Multi-Agenten-Systemen auftreten, und macht agentische Anwendungen wirtschaftlicher und schneller.

Gemma 4 12B auf Apple Silicon ausführen

Alle beschriebenen Funktionen sind sofort verfügbar. Nutzer können die aktualisierte MLX-Engine ausprobieren, indem sie das Modell Gemma 4 12B über das MLX-Backend starten:

ollama run gemma4:12b-mlx

Für agentische Anwendungen ist auch der Start mit dem Befehl ollama launch pi --model gemma4:12b-mlx möglich. Das Update bestätigt Ollamas Vision: Apple Silicon als echte Plattform für Desktop-Inferenz von Rechenzentrumsmodellen, unter Nutzung von Apples Unified-Memory-Architektur und dem Metal-basierten MLX-Framework für maximale Effizienz auf Consumer-Hardware.