AMD Quark donosi MXFP4 kvantizaciju za FLUX.1-dev na Instinct MI350 uz 1,92× ubrzanje

AMD je proširio podršku za MXFP4 kvantizaciju na domenu generiranja slika. Alat koji to omogućuje je Quark, AMD-ov kvantizacijski okvir, integriran s xDiT okvirom za paralelno izvođenje difuzijskih modela. Mjerenja provedena na AMD Instinct MI350 GPU-u (arhitektura gfx950) pokazuju značajna ubrzanja bez mjerljivog pada kvalitete generiranih slika.

MXFP4 kvantizacija za difuzijske modele na AMD Instinct platformi

Generiranje slika difuzijskim modelima spada u memorijski intenzivne workloade — veliki broj parametara prolazi kroz sukcesivne denoise korake, a pri inferenciji u realnom vremenu ili u batch obradbi svaka milisekunda latencije izravno utječe na ekonomiku servisa. FP4 kvantizacija nudi dramatično smanjenje memorijskog otiska, no bez strukturiranog skaliranja dolazi do prevelikog gubitka numeričke preciznosti koji se vidi u artifaktima generiranih slika.

Quark Release 0.12 implementira MXFP4 per-layer shemom s nativnim AITER GEMM kernelima koji rade direktno u MXFP4 formatu. Nema dekvantizacijske faze između slojeva — kernel prima MXFP4 ulaz i producira izlaz bez konverzije natrag u FP16 ili BF16, čime se eliminira memorijski bandwidth overhead koji bi inače djelomično poništio prednost niže preciznosti.

Testna okolina: PyTorch 2.9.1 s ROCm backendom, AITER 0.1.10, Quark Release 0.12, Docker image rocm/pytorch-xdit:v26.5.

Što je MXFP4 i zašto eliminira dekvantizacijski overhead?

FP4 reprezentacija pohranjena je u 4 bita po elementu, što u usporedbi s BF16 (16 bita) donosi 4× manji memorijski otisak modela. Problem standardnog FP4 jest uski dinamički raspon: bez informacije o magnitudi podataka, sitne numeričke razlike između aktivacija nestaju u zaokruživanju.

MXFP4 (Microscaling FP4) rješava to blokovskim skaliranjem: svaki blok od 32 elementa dijeli zajednički skalirni faktor pohranjen u višoj preciznosti. Ovo je standardizirani pristup definiran unutar šire Microscaling (MX) specifikacije, koji omogućuje FP4 kompresiju uz dinamički raspon usporediv s FP8 formatima. AMD-ovi AITER GEMM kerneli implementiraju ovaj format nativno na MI350 arhitekturi, što znači da GPU radi direktno s MXFP4 tensorima bez softverskih konverzija u hot pathu.

Izmjereno ubrzanje na jednom i dva MI350 GPU-a

Referentni model je FLUX.1-dev (black-forest-labs), generiran pri rezoluciji 1024×768 piksela, 20 inference koraka, guidance scale 3,5. Validacija kvalitete provedena je na 100 uzoraka iz COCO 2017 dataset koristeći openai/clip-vit-base-patch16.

Na jednom GPU-u s torch.compile, MXFP4 ASM konfiguracija postiže 1,92× ubrzanje nad BF16 eager baseline — latencija pada s 2,054 s/sliku na 1,069 s/sliku. U usporedbi s BF16 kompajliranom varijantom, ubrzanje iznosi 1,41×. U eager modu bez kompajliranja, MXFP4 donosi 1,15× brže generiranje (1,779 s/sliku naspram 2,054 s/sliku).

Na konfiguraciji s 2 GPU-a koristeći Ulysses paralelizam, MXFP4 kompajlirana varijanta dostiže optimalne 0,855 s/sliku pri batch sizeu 16, što predstavlja 1,23× bolji throughput u odnosu na BF16 ekvivalent (1,052 s/sliku). Pri batch sizeu 1 ubrzanje je nešto niže, 1,21×, zbog manjeg paralelnog iskorištenja.

Kvaliteta generiranih slika ostaje nepromijenjena

BF16 eager baseline postiže CLIP ocjenu 30,98. MXFP4 ASM kompajlirana varijanta postiže 31,84 — numerički viša vrijednost od baseline-a, unutar statističke varijabilnosti mjernog postupka na 100 uzoraka. Sve četiri testirane konfiguracije (BF16 eager, BF16 kompajlirano, MXFP4 eager, MXFP4 kompajlirano) zadržavaju CLIP ocjene unutar raspona od ±0,5 boda.

Ovo je praktično relevantno: CLIP ocjene mjere semantičku usklađenost slike i opisa, što je perceptivno bliskije korisnikovoj procjeni kvalitete od metrika poput PSNR koje mjere pikselnu sličnost. Potvrda da MXFP4 ne degradira CLIP ocjenu znači da kvantizacija ne uvodi semantičke artifakte koji bi bili vidljivi krajnjem korisniku.

Integracija s xDiT okvirom ostavlja prostor za proširenje na 4 ili 8 GPU-a bez promjene kvantizacijske konfiguracije — AMD Quark 0.12 podržava i FP8 i MXFP4 formate na istoj MI350 infrastrukturi. Za operatore koji vode servise generiranja slika, ubrzanje od 1,92× direktno se prevodi u udvostručenje kapaciteta po GPU-u ili proporcionalno smanjenje infrastrukturnih troškova pri istom opterećenju. Pristupačnost pristupa — standardni Docker image, Diffusers integracija, xDiT Ulysses paralelizam bez modifikacija modela — čini MXFP4 kvantizaciju primjenjivom opcijom za produkcijske deploymente bez potrebe za specijaliziranim inženjerskim znanjem o AMD hardveru.