AMD: Spekulativno dekodiranje na MI300X ubrzava inferenciju 4,3×
AMD je na ROCm blogu predstavio implementaciju spekulativnog dekodiranja na Instinct MI300X GPU-ima. Tehnika u kojoj manji draft model predviđa tokene, a veći ih verificira, postigla je do 4,3 puta veću propusnost u odnosu na klasično autoregresivno generiranje.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
AMD je na svom ROCm blogu objavio implementaciju spekulativnog dekodiranja na Instinct MI300X akceleratorima. Spekulativno dekodiranje je tehnika ubrzanja inferencije velikih jezičnih modela u kojoj manji draft model predviđa niz tokena, a veći ciljni model ih zatim paralelno verificira. Time se izbjegava sporo generiranje token po token, bez gubitka kvalitete izlaza.
Kako je postavljen sustav?
AMD je kao draft model koristio Llama-3.2-1B-Instruct, a kao ciljni Llama-3.1-70B-Instruct. Raspodjela je obuhvaćala pet MI300X GPU-a: četiri za podjelu velikog ciljnog modela i jedan namijenjen draft modelu. Softverski sloj činili su ROCm 7.2, PyTorch 2.9.1 te FlashInfer, sve unutar Docker okruženja s automatiziranom pripremom.
Koliko je ubrzanje?
Mjerenja na benchmarkovima alpaca, c4, ultrafeedback i humaneval pokazala su jasan dobitak. Autoregresivno generiranje davalo je 52,32 tokena u sekundi, standardno spekulativno dekodiranje 138,06, a napredna varijanta čak 225,86 tokena u sekundi. To znači 4,32 puta brže generiranje od osnovnog pristupa i 1,64 puta brže od konvencionalnog spekulativnog dekodiranja.
Zašto je to važno?
Veća propusnost izravno smanjuje trošak posluživanja modela i latenciju za korisnike. Demonstracija pokazuje da AMD hardver uz zreli ROCm softverski stog može isporučiti tehnike ubrzanja koje su dosad bile vezane uz konkurentske platforme.
Česta pitanja
- Što je spekulativno dekodiranje?
- To je tehnika ubrzanja LLM inferencije u kojoj manji draft model unaprijed predviđa tokene, a veći ciljni model ih paralelno verificira, čime se smanjuje broj sporih koraka.
- Koliko je ubrzanje postignuto na MI300X?
- AMD navodi propusnost od 225,86 tokena u sekundi, što je 4,32 puta brže od autoregresivnog generiranja i 1,64 puta brže od standardnog spekulativnog dekodiranja.
Izvori
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.
Povezane vijesti
AMD: hipVS — GPU vektorska pretraga za Instinct, cuVS-kompatibilna, s demoom agentnog RAG-a
NVIDIA: performansa po vatu kao ključna metrika — Blackwell GB300 do 25× efikasniji od Hoppera
AMD: GEAK agent automatski optimizirao DeepSeek-V4 MLA kernel na MI355 uz do 9× ubrzanje