MiniMax M3 u vLLM: Day-0 podrška za model s milijun tokena konteksta

vLLM tim objavio je 12. lipnja 2026. punu Day-0 podršku za MiniMax M3, novi model kineskog AI startupa MiniMax koji kombinira milijun tokena konteksta, nativnu multimodalnost i Mixture-of-Experts (MoE) arhitekturu. Objava označava prvu veliku implementaciju dugokontekstualnog MoE modela unutar vLLM-a uz potpunu funkcijsku paritetnost na dan lansiranja.

Zašto je milijun tokena konteksta izazov za posluživanje?

Standardni KV cache raste linearno s duljinom konteksta — milijun tokena u BF16 preciznosti zahtijeva stotine gigabajta GPU memorije samo za pamćenje međukoraka pažnje. Tradicionalni pristup koji materijalizira cijeli KV cache postaje neizvediv na realnim konfiguracijama. MiniMax M3 rješava ovaj problem kroz MiniMax Sparse Attention (MSA), arhitektonsku inovaciju koja redefinira kako model pristupa dugačkim sekvencama.

MSA dijeli KV cache u blokove od 128 tokena. Svaki upit — ili GQA grupa upita — boduje sve dostupne blokove kroz lagane indexer-score kernele te odabire samo najrelevantnije za stvarno računanje pažnje. Rezultat je dramatično smanjen memorijski i računalni teret: model ne mora u potpunosti materijalizirati milijun tokena, nego selektivno pristupa relevantnim segmentima. Implementacija u vLLM-u uz to koristi KV-blok-major raspored prefilla dizajniran upravo za ovaj uzorak pristupa podacima.

Tehnički stog: od EAGLE3 do expert parallelism

Podrška za MiniMax M3 dolazi s kompletnim skupom vLLM značajki. Prefiks caching i chunked prefill rade bez izmjena uz MSA mehanizam. Tool-call parser i reasoning output parser omogućuju nativnu agentic primjenu, dok thinking-mode kontrola dopušta dinamičko uključivanje i isključivanje lančanog zaključivanja po zahtjevu.

Posebno istaknut dodatak je podrška za EAGLE3 spekulativno dekodiranje. Draft model za EAGLE3 dostupan je na HuggingFace uz objavu, a mjerenja pokazuju prihvaćanje spekulativnih tokena od 67% uz prosječnu duljinu 3,0 tokena po koraku — što u praksi znači značajno smanjenje broja poziva glavnom modelu i nižu latenciju.

Na strani paralelizacije, vLLM podržava i tensor parallelism i expert parallelism za MoE slojeve, što omogućuje distribuciju modela prema potrebama infrastrukture.

Hardverska validacija i backend specifičnosti

MiniMax M3 validiran je na šest klasa GPU platformi. Na strani NVIDIA:

• H200 (Hopper arhitektura) — koristi Marlin MXFP8 backend za kvantiziranu inferenciju
• GB200 i B300 (Blackwell arhitektura) — koriste DeepGEMM backend optimiziran za novu generaciju hardvera

Na strani AMD:

• MI300 i MI350 serije GPU-ova

Model je dostupan u BF16 i MXFP8 preciznosti, pri čemu MXFP8 varijanta koristi odgovarajući MoE backend prema GPU arhitekturi.

Izmjerene performanse na benchmarkovima

Svi rezultati prikazani u objavi mjereni su na B300 konfiguraciji:

• GSM8K: 91,51% (strogi match) / 91,66% (fleksibilni match) — standardni matematički benchmark za jezične modele
• ShareGPT propusnost pri 256 simultanih zahtjeva: 8.530 tokena u sekundi
• TPOT (Time Per Output Token): 56,0 milisekundi
• EAGLE3 prihvaćanje: 67% uz prosječnu duljinu spekulativnog niza od 3,0 tokena

Ovi rezultati postignuti su bez žrtvovanja sposobnosti dugog konteksta — model zadržava puni milijun tokena kapaciteta uz navedene propusnosti na jednoj B300 konfiguraciji.

Multimodalnost i agentic primjene

MiniMax M3 nije isključivo tekstualni model. Nativna podrška za slike i video integrirana je u arhitekturu, bez potrebe za zasebnim vision enkoderom ili dodatnim koracima obrade. Uz tool-call i reasoning parsere, model je spreman za složene agentic zadatke koji kombiniraju analizu vizualnog sadržaja, višekoredno zaključivanje i pozivanje vanjskih alata.

Dostupnost u BF16 i MXFP8 formatima — zajedno s Day-0 podrškom za sve navedene vLLM značajke — čini MiniMax M3 praktično upotrebljivim od prvog dana bez čekanja na naknadno ažuriranje ili funkcijsko ograničavanje. vLLM zajednica i MiniMax tim zajednički su razvili integraciju, a objava navodi da je bliska suradnja bila ključna za postizanje pune funkcijske paritetnosti na dan lansiranja.