AMD: GEAK agent automatski optimizirao DeepSeek-V4 MLA kernel na MI355 uz do 9× ubrzanje
AMD-ov GEAK agent za automatiziranu optimizaciju GPU kernela migrirao je DeepSeek-V4 MLA kernel s PyTorcha na Triton za MI355 akceleratore. Rezultati pokazuju do 9,13× ubrzanje prefilla, 4,94× geomean decode ubrzanje i 2,10× veći end-to-end throughput u SGLang frameworku.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
AMD je objavio rezultate primjene GEAK agenta — AI sustava za automatsku generaciju i optimizaciju GPU kernela — na DeepSeek-V4 model koji radi na AMD MI355 akceleratorima. Automatizirana migracija s PyTorcha na Triton donosi ubrzanja koja ručna optimizacija teško postiže u usporedivom vremenu.
Što su MLA i Triton — ključni pojmovi?
MLA (Multi-head Latent Attention) je memorijski učinkovita varijanta mehanizma pažnje koju DeepSeek-V4 koristi za dramatično smanjenje KV-cache troškova u usporedbi s klasičnim Multi-head Attentionom — ključna inovacija modela, ali zahtjevna za hardversku optimizaciju. Triton je programski jezik za pisanje GPU kernela koji direktno cilja hardverske karakteristike akceleratora; za razliku od generičkog PyTorcha, Triton kod može iskoristiti specifičnosti memorijske hijerarhije AMD MI355 arhitekture. GEAK agent automatizira upravo taj prijelaz — bez ručnog pisanja Triton koda.
Konkretna ubrzanja: prefill, decode i end-to-end
Mjerenja na AMD MI355 pokazuju jasne dobitke u svim fazama inferencije. U prefill fazi (obrada ulaznog prompta) ubrzanje iznosi 9,13× za Config 1 i 6,92× za Config 2 u usporedbi s izvornim PyTorch implementacijom. U decode fazi (generacija tokena) geomean ubrzanje na 26 različitih konfiguracija iznosi 4,94×. End-to-end u SGLang frameworku GEAK donosi 2,10× veći throughput i 3,71× manji TTFT (time-to-first-token — vrijeme do prve generirane riječi), što je kritičan parametar za korisničko iskustvo.
SGLang integracija i provjera točnosti
Integracija s SGLang frameworkom pokazuje 16%–110% E2E poboljšanje ovisno o razini konkurentnosti (2 do 32 istovremenih zahtjeva) — veća konkurentnost donosi razmjerno veće dobitke. Posebno je važan rezultat provjere točnosti: svih 304 prefill i 4.748 decode testnih slučajeva prolaze bez ikakvih regresija. Ubrzanja nisu postignuta aproksimacijom ili žrtvovanjem preciznosti, već čistom hardverskom optimizacijom kernela. GEAK time demonstrira da AI-asistirana optimizacija GPU koda može zamijeniti tjedne ručnog inženjerskog rada.
Česta pitanja
- Što su MLA i Triton u kontekstu ovog istraživanja?
- MLA (Multi-head Latent Attention) je memorijski učinkovita varijanta mehanizma pažnje koju koristi DeepSeek-V4 za smanjenje KV-cache troškova. Triton je programski jezik za pisanje visoko optimiziranih GPU kernela koji direktno cilja hardverske karakteristike akceleratora poput AMD MI355.
- Koliko su precizna ubrzanja — postoje li regresije točnosti?
- Provjera točnosti provedena je na 304 prefill i 4.748 decode test slučajeva. Svi prolaze bez ikakvih regresija, što potvrđuje da su ubrzanja postignuta bez žrtvovanja preciznosti izlaza.
Izvori
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.
Povezane vijesti
AMD: SGLang Diffusion na ROCm-u dovodi generiranje i uređivanje slika na Instinct GPU-e — inference framework iz LLM svijeta širi se na difuziju
AMD: FlyDSL — Python DSL koji obećava performanse ručno pisanih HIP C++ GPU kernela uz znatno manje koda
AMD objašnjava occupancy matematiku za MI355X: visoka popunjenost nije uvjet za vršni throughput