arXiv:2607.09375: Li Auto stellt Mach-Mind-4-Flash vor — 35B MoE mit 3B aktiven Parametern

Der chinesische Automobilhersteller Li Auto hat den technischen Bericht für Mach-Mind-4-Flash veröffentlicht — sein eigenes Foundation-Modell, das kompakte Architektur mit hoher Leistung auf wichtigen Benchmarks kombiniert und damit den Eintritt eines weiteren Nicht-Tech-Giganten in den Wettbewerb um souveräne KI-Modelle markiert.

Was ist MoE und warum wählt Li Auto diese Architektur?

MoE (Mixture of Experts) ist eine Architektur, die für jedes Eingabetoken nur eine Teilmenge der Parameter — die sogenannten „Experten” — aktiviert, statt alle auf einmal. Mach-Mind-4-Flash hat 35 Milliarden Gesamtparameter, aktiviert jedoch pro Aufruf nur 3 Milliarden. Zum Vergleich: Ein Dense-Modell mit der gleichen Anzahl aktiver Parameter hätte eine Größe von 3B — eine Kategorie, die für komplexe Aufgaben typischerweise als unzureichend gilt. Diese Architektur ermöglicht Li Auto 10–30× niedrigere Inferenzkosten im Vergleich zu konkurrierenden Dense-Modellen ähnlicher Leistung.

Leistung der 100B+-Modellklasse

Durch eine dreistufige Trainings-Pipeline — die eine vereinheitlichte RL/OPD-Infrastruktur, Training von Domain-Experten und Hybrid Median-length Policy Optimization kombiniert — erzielt das Modell Ergebnisse, die die Größe seines aktiven Parametersatzes übersteigen. Wichtige Benchmarks: AIME’26 92,70, was es neben führende Modelle bei Mathematikwettbewerben stellt; IFBench 82,82 für Instruktionsbefolgung; BFCL-v4 75,80 für Funktionsaufrufe; BrowseComp-zh 72,31 für chinesische Websuche. Li Autos Foundation Model Team behauptet, dass die Gesamtleistung die „100B+-Modellklasse” erreicht.

Warum ist es bedeutsam, dass dieses Modell von einem Automobilhersteller stammt?

Li Auto ist kein Softwareunternehmen — es ist primär ein chinesischer OEM für Elektrofahrzeuge. Dieser Schritt zeigt, dass die vertikale Integration von KI-Kapazitäten über den Tech-Sektor hinausgeht: Automobilunternehmen bauen eigene Foundation-Modelle für autonomes Fahren, Fahrzeugassistenten und interne Produktivität. Mach-Mind-4-Flash zielt besonders auf den chinesischsprachigen Markt ab, was der BrowseComp-zh-Benchmark verdeutlicht. Niedrige Inferenzkosten sind für den Edge-Einsatz in Fahrzeugen entscheidend, wo Cloud-Latenz und -Kosten kritische Faktoren sind.