AMD ROCm: Kimi-K2.5 W4A8 i W8A8 kvantizacija na MI325X kroz Quark + FlyDSL + AITER inference stack

AMD je 14. svibnja 2026. objavio inference acceleration blueprint za Kimi-K2.5 model — chinese frontier LLM iz Moonshot AI — koji koristi tri AMD-specific komponente: Quark kvantizator, FlyDSL serving sloj i AITER optimization toolkit. Najava je dio širine AMD strategije da MI325X postavi kao održivu alternativu NVIDIA H100/H200 za open-source LLM serving.

Što W4A8 i W8A8 kvantizacija znače?

Kvantizacija smanjuje memorijski footprint modela kroz reduciranu preciznost težina i aktivacija:

• W4A8 — 4-bit weights, 8-bit activations. Najagresivnija compression koja zahtijeva pažljiv calibration jer 4-bit weight pad može uzrokovati quality regression u sensitivnim layer-ima. Idealan za maximum throughput scenarije.
• W8A8 — 8-bit weights, 8-bit activations. Manje agresivno, ostavlja više preciznosti za nuanciranije workloads. Koristan za scenarije gdje accuracy je kritičan ali fp16/bf16 je previše memory-heavy.

Pristup omogućuje da Kimi-K2.5 — koji u native precision-u traži velike GPU klastere — radi na manjem broju MI325X kartica.

Koje su tri komponente AMD inference stack-a?

AMD Quark je quantization framework koji obrađuje pre-trained model kroz calibration phase, primjenjuje quantization recipes i emituje quantized weights kompatibilne s downstream serving slojevima. FlyDSL je domain-specific language i runtime koji koristi za inference scheduling — definira kako se kernels routaju i sequenced-iraju za optimalni GPU utilization. AITER (AI Inference Toolkit) optimizira kernels specifično za AMD CDNA arhitekturu na MI325X — manualno tuneirani kompozitni operatori koji koriste lokalne tensor cores i memory hierarchy efikasno.

Što MI325X strategijski cilja?

MI325X je drugi mainstream AMD GPU za AI inference nakon MI300X. AMD eksplicitno targetira inference workload-e, ne training — training market dominira NVIDIA Hopper/Blackwell stack. Inference je više cost-sensitive i open architecture toleriraniji, pa AMD ima prostor kroz konkurentniju cijenu po performanse.

Položaj u open-source frontier LLM landscapu

Kimi-K2.5 je open-weight model iz Moonshot AI koji se prikazuje kao konkurent Claude Opus 4.7 i GPT-5.5 u određenim benchmark-ima. AMD pristupom omogućuje da klijenti koji preferiraju non-NVIDIA hardware iz regulatornih razloga (npr. EU AI Act compliance gdje se preferiraju multi-vendor stack-ovi) imaju kompletan inference path za frontier models.

Najava se uklapa u širi trend ovog tjedna gdje hardware vendori, framework providers i model labovi suradnički rade na non-NVIDIA inference path-evima — paralelno s PyTorch 2.12 (13.5.) device-agnostic accelerator API-jem koji eliminira CUDA lock-in.