vLLM: open-source inference engine zauzima prvo mjesto na Artificial Analysis ljestvici

vLLM, open-source inference engine, zauzeo je prvo mjesto na Artificial Analysis ljestvici za tri frontier modela kroz ciljane optimizacije. Razvojni tim potvrdio je da vLLM sada vodi za DeepSeek V3.2, MiniMax-M2.5 i Qwen 3.5 397B — što je rezultat tri različita pristupa po modelu.

DeepSeek V3.2: agresivna kernel fuzija

Na DeepSeek V3.2 vLLM postiže 230 tokena u sekundi output throughput-a — kako stoji u objavi, “više od 4× ono što većina inference davatelja prijavljuje”. Ključ je agresivna kernel fuzija koja spaja normalizaciju, rotary embedding i kvantizacijske operacije. Broj GPU kernel launchova smanjen je s približno 33 na svega 10 po sloju, što eliminira launch overhead pri malim batch veličinama i daje 1.28× speedup pri batch size 1.

MiniMax-M2.5: custom EAGLE3 draft model

Za MiniMax-M2.5 vLLM postiže 326 tokena/s pri concurrency 1 koristeći custom EAGLE3 speculative decoding. EAGLE3 je tehnika gdje manji “draft” model predviđa nekoliko tokena unaprijed, koje veliki model zatim verificira u jednom prolazu. vLLM inženjeri trenirali su specijalizirani draft model kroz TorchSpec, omogućujući mu učenje na stvarnim hidden states-ima koje vLLM proizvodi — umjesto na generičkim datasetima.

Qwen 3.5 397B: attention path fuzija

Qwen 3.5 397B prvi je među svih 12 mjerenih davatelja, s sub-sekundnim TTFT (time-to-first-token) na dugim promptovima. Optimizacije su rješavale specifičnu linear-attention arhitekturu modela i njegove normalizacijske obrasce, što daje “do 6.69 zahtjeva/s pri concurrency 256” u odnosu na baseline.

Što ovo znači za open-source ekosistem?

Rezultat je signalan: vLLM, koji bilo tko može pokrenuti na vlastitom hardveru, vodi produkcijske benchmark-e na tri frontier modela. Za organizacije koje vode self-hosted inference (privatnost, suverenitet podataka, cost predictability) ovo je dokaz da otvoreni stack više ne plaća strukturalnu cijenu u performansama spram vlasničkih servisa.