MiniMax M3 in vLLM: Day-0-Unterstützung für ein Modell mit einer Million Token Kontext

Das vLLM-Team veröffentlichte am 12. Juni 2026 vollständige Day-0-Unterstützung für MiniMax M3, das neue Modell des chinesischen KI-Startups MiniMax, das eine Million Token Kontext, native Multimodalität und eine Mixture-of-Experts-Architektur (MoE) kombiniert. Die Ankündigung markiert die erste große Implementierung eines Langkontext-MoE-Modells innerhalb von vLLM mit vollständiger Funktionsparität am Starttag.

Warum ist ein Million-Token-Kontext eine Serving-Herausforderung?

Der Standard-KV-Cache wächst linear mit der Kontextlänge — eine Million Token in BF16-Präzision erfordert Hunderte von Gigabyte GPU-Speicher allein für die Speicherung der Aufmerksamkeits-Zwischenschritte. Der traditionelle Ansatz, der den gesamten KV-Cache materialisiert, wird bei realen Konfigurationen unpraktikabel. MiniMax M3 löst dieses Problem durch MiniMax Sparse Attention (MSA), eine Architekturinnovation, die neu definiert, wie das Modell auf lange Sequenzen zugreift.

MSA teilt den KV-Cache in Blöcke von 128 Token auf. Jede Anfrage — oder GQA-Anfragegruppe — bewertet alle verfügbaren Blöcke durch leichte Indexer-Score-Kernel und wählt nur die relevantesten für die eigentliche Aufmerksamkeitsberechnung aus. Das Ergebnis ist eine dramatisch reduzierte Speicher- und Rechenlast: Das Modell muss keine Million Token vollständig materialisieren, sondern greift selektiv auf relevante Segmente zu. Die vLLM-Implementierung nutzt zudem ein KV-Block-Major-Prefill-Layout, das speziell für dieses Datenzugriffsmuster entwickelt wurde.

Technischer Stack: Von EAGLE3 bis Expert Parallelism

Die Unterstützung für MiniMax M3 kommt mit einem vollständigen Satz von vLLM-Funktionen. Prefix-Caching und Chunked Prefill funktionieren ohne Änderungen mit dem MSA-Mechanismus. Ein Tool-Call-Parser und Reasoning-Output-Parser ermöglichen native agentische Anwendungen, während die Thinking-Mode-Kontrolle das dynamische Ein- und Ausschalten von Chain-of-Thought-Reasoning auf Anfrage erlaubt.

Eine besonders hervorgehobene Ergänzung ist die Unterstützung für EAGLE3 Speculative Decoding. Das Draft-Modell für EAGLE3 ist auf HuggingFace mit der Veröffentlichung verfügbar, und Messungen zeigen eine Akzeptanz spekulativer Token von 67 % bei einer durchschnittlichen Länge von 3,0 Token pro Schritt — was in der Praxis eine erhebliche Reduzierung der Aufrufe an das Hauptmodell und geringere Latenz bedeutet.

Auf der Parallelisierungsseite unterstützt vLLM sowohl Tensor Parallelism als auch Expert Parallelism für MoE-Schichten, was die Verteilung des Modells entsprechend den Infrastrukturanforderungen ermöglicht.

Hardware-Validierung und Backend-Besonderheiten

MiniMax M3 wurde auf sechs Klassen von GPU-Plattformen validiert. Auf NVIDIA-Seite:

• H200 (Hopper-Architektur) — nutzt Marlin MXFP8 Backend für quantisierte Inferenz
• GB200 und B300 (Blackwell-Architektur) — nutzen DeepGEMM Backend, optimiert für die neue Hardwaregeneration

Auf AMD-Seite:

• MI300 und MI350 GPU-Serien

Das Modell ist in BF16 und MXFP8 Präzision verfügbar, wobei die MXFP8-Variante das entsprechende MoE-Backend gemäß GPU-Architektur verwendet.

Gemessene Leistung in Benchmarks

Alle in der Ankündigung dargestellten Ergebnisse wurden auf einer B300-Konfiguration gemessen:

• GSM8K: 91,51 % (striktes Match) / 91,66 % (flexibles Match) — Standard-Mathematik-Benchmark für Sprachmodelle
• ShareGPT-Durchsatz bei 256 gleichzeitigen Anfragen: 8.530 Token pro Sekunde
• TPOT (Time Per Output Token): 56,0 Millisekunden
• EAGLE3-Akzeptanz: 67 % bei durchschnittlicher Länge der spekulativen Sequenz von 3,0 Token

Diese Ergebnisse wurden ohne Opferung der Langkontext-Fähigkeiten erzielt — das Modell behält die volle Millionen-Token-Kapazität bei den genannten Durchsätzen auf einer einzigen B300-Konfiguration.

Multimodalität und agentische Anwendungen

MiniMax M3 ist kein reines Textmodell. Native Unterstützung für Bilder und Video ist in die Architektur integriert, ohne dass ein separater Vision-Encoder oder zusätzliche Verarbeitungsschritte erforderlich sind. Zusammen mit Tool-Call- und Reasoning-Parsern ist das Modell für komplexe agentische Aufgaben bereit, die visuelle Inhaltsanalyse, mehrstufiges Schlussfolgern und den Aufruf externer Tools kombinieren.

Die Verfügbarkeit in BF16- und MXFP8-Formaten — zusammen mit Day-0-Unterstützung für alle genannten vLLM-Funktionen — macht MiniMax M3 vom ersten Tag an praktisch nutzbar, ohne auf nachträgliche Updates oder funktionale Einschränkungen warten zu müssen. Die vLLM-Community und das MiniMax-Team haben die Integration gemeinsam entwickelt, und die Ankündigung hebt hervor, dass die enge Zusammenarbeit entscheidend für die Erreichung vollständiger Funktionsparität am Starttag war.