arXiv:2605.29157: Parallax lokalna linearna pažnja ubrzava decode fazu 12,9× u odnosu na FlashAttention

Istraživači Yifei Zuo, Dhruv Pai, Zhichen Zeng, Alec Dewulf, Shuming Hu i Zhaoran Wang objavili su rad Parallax: Parameterized Local Linear Attention for Language Modeling koji predlaže novo rješenje za jedan od temeljnih problema skaliranja velikih jezičnih modela — računski i memorijski teret mehanizma pažnje (attention).

Što Parallax mijenja u arhitekturi mehanizma pažnje?

Standardni softmax attention (SA), koji koristi većina današnjih jezičnih modela uključujući GPT i Llama arhitekture, temelji se na lokalnoj konstantnoj estimaciji — svaki token pažnjom “gleda” na fiksni prozor prethodnih tokena i izračunava ponderiranu sumu. Parallax nadograđuje tu lokalnu konstantnu estimaciju na lokalnu linearnu estimaciju, dodajući learnable query-like projekciju koja eksplicitno analizira kovarijancu ključeva i vrijednosti (KV covariance).

Ključna razlika: dok standardni Local Linear Attention zahtijeva numeričke solvere koji su računski skupi, Parallax ih potpuno eliminira i zamjenjuje hardverski svjesnim algoritmom koji povećava aritmetički intenzitet (omjer računanja i memorijskog prometa) iznad razine FlashAttentiona.

Koliko je Parallax brži i na kojim skalama radi?

Prototype decode kernel razvijen za Parallax arhitekturu postiže 12,9× ubrzanje u usporedbi s FlashAttention 2/3 u testiranim konfiguracijama batch veličina i duljina konteksta. U svim mjerenim uvjetima Parallax decode kernel izjednačava ili nadmašuje FlashAttention 2/3.

Predobučavanje (pretraining) provedeno je na modelima od 0,6B i 1,7B parametara. Rezultati pokazuju:

• Konzistentna poboljšanja perplexity metrike kroz cijeli proces predobučavanja
• Dobitci na downstream benchmarkovima zadržani pod uvjetima usklađenosti parametara (parameter-matched) i usklađenosti računanja (compute-matched)

Što je otkriće o Muon optimizatoru?

Jedno od iznenađujućih nalaza rada jest da Muon optimizator posebno otključava sposobnosti Parallax arhitekture. Autori ovo opisuju kao “prvu empirijsku demonstraciju snažnog kodesigna arhitekture i optimizatora za mehanizme pažnje” u akademskoj literaturi.

Kodesign arhitekture i optimizatora — pristup gdje se dizajn modela i algoritam treniranja razvijaju zajednički umjesto neovisno — otvara novi istraživački smjer za daljnje poboljšanje efikasnosti LLM predobučavanja i izvođenja.

Zašto je Parallax relevantan za produkcijsku primjenu?

Ubrzanje decode faze od 12,9× direktno utječe na latenciju pri izvođenju LLM-a u produkciji, gdje je decode (generiranje tokena jedan po jedan) tipično najsporija faza. Kombinacija poboljšane točnosti (niži perplexity) i drastično brže decode faze pozicionira Parallax kao ozbiljnog kandidata za zamjenu standardnog softmax attentiona u budućim jezičnim modelima.