DiffusionGemma u vLLM: prvi diskretni difuzijski model od 26 milijardi parametara integriran u produkcijsko okruženje

Timovi vLLM projekta, Google DeepMinda i NVIDIA-e objavili su danas integraciju DiffusionGemme u vLLM — čime je ovaj okvir za produkcijsku inferenzu (zaključivanje) dobio prvi nativno podržani diskretni difuzijski jezični model (dLLM, engl. discrete diffusion language model). Model ima 26 milijardi parametara i izgrađen je na Gemma4 arhitekturi.

Zašto je difuzijsko generiranje teksta drugačije?

Klasični veliki jezični modeli (LLM, engl. large language model) generiraju tekst autoregresivno — token po token, s lijeva na desno. DiffusionGemma radi potpuno drugačije: polazi od platna od 256 tokena ispunjenog šumom i iterativno ga pročišćava kroz više koraka sve dok ne dobije koherentan tekst. Taj pristup otvara mogućnosti koje autoregresija strukturno ne dopušta, primjerice reviziju ranijih dijelova odgovora u kasnijim koracima denoiziranja.

Arhitektura je dvomodno dizajnirana. U encoder modu model koristi kauzalnu (jednosmjernu) pažnju za obradu ulaznog prompta — identično klasičnim transformerima. U decoder modu, koji se koristi pri iterativnom denoiziranju, prelazi na bidirektnu pažnju s kliznim prozorima (±W tokena), što modelu omogućuje da svaki token na platnu gleda u oba smjera i usklađuje cjelinu.

Mehanizam odlučivanja o gotovim tokenima

DiffusionGemma koristi uzorkovanje temeljeno na entropiji (engl. entropy-based sampling). U svakom koraku denoiziranja model izračunava pouzdanost za svaki token i prihvaća ih redoslijedom od najpouzdanijeg prema najmanje pouzdanom — sve dok nakupljena entropija ne prijeđe unaprijed zadani prag. Na taj se način najsigurniji tokeni „zamrzavaju” rano, a nesigurniji dobivaju više iteracija pažnje.

Između iteracija model prima i self-conditioning signal: puna softmax distribucija iz prethodnog koraka pretvara se u prosječni ugradni vektor (engl. probability-weighted embedding average) i predaje modelu kao dodatni ulaz. To stabilizira konvergenciju i smanjuje oscilacije u kasnijim koracima.

Integracija u vLLM infrastrukturu

Umjesto pisanja potpuno novog koda za pokretanje, tim je prilagodio postojeću infrastrukturu spekulativnog dekodiranja (engl. speculative decoding) unutar vLLM-a. Dvije su ključne novosti:

• ModelState apstrakcija — generalizira stanje modela za neautoregresivne arhitekture; konkretna implementacija DiffusionGemmaModelState prati stanje difuzijske petlje po zahtjevu.
• DiffusionSampler — rukovateljem uzorkivanja koji razlikuje tri faze: prefill (punjenje ulaza), denoise (iterativno pročišćavanje) i commit (finalizacija tokena).

Podrška za dinamičku kauzalnu pažnju po sekvenci omogućuje miješane batcheve — u istom batchu mogu biti zahtjevi u encoder i decoder modu bez konflikata.

Izmjerene performanse

FP8-kvantizirana verzija DiffusionGemme postiže 1.288 tokena u sekundi na NVIDIA H200 GPU-u pri veličini batcha 1, što je otprilike šest puta brže od autoregresivnih usporednih modela. Na H100 izmjereno je 1.008 tokena u sekundi — oko pet puta brže od autoregresije i 2,6 puta brže od pojedinih varijanti usporednih modela.

Dostupni su dva kvantizacijska checkpointa:

• FP8 s dinamičkim aktivacijama
• NVFP4 s kvantiziranim težinama i aktivacijama

Oba su objavljena na RedHatAI Hubu i odmah dostupna za korištenje unutar vLLM-a.

Što ovo znači za ekosustav

Integracija DiffusionGemme pokazuje da vLLM nije ograničen samo na klasične autoregresivne modele. Generalizacijom infrastrukture spekulativnog dekodiranja projekt otvara vrata budućim difuzijskim modelima bez nužnosti pisanja zasebnih inferenčnih stogova. Na projektu je radilo 11 doprinositelja iz Google DeepMinda, vLLM tima i NVIDIA-e — što upućuje na ozbiljnu dugoročnu podršku ovoj klasi modela.