arXiv:2605.29157: Parallax lokalna linearna pažnja ubrzava decode fazu 12,9× u odnosu na FlashAttention
Parallax je nova mehanizam pažnje (attention) za velike jezične modele koji zamjenjuje standardnu softmax pažnju lokalnom linearnom estimacijom, postižući 12,9× ubrzanje decode kernela u usporedbi s FlashAttentionom. Istraživači sa sveučilišta Northwestern i suradnici pokazali su konzistentna poboljšanja perplexity metrike pri predobučavanju modela od 0,6B i 1,7B parametara, s tvrđenjem o prvoj empirijskoj demonstraciji snažnog kodesigna arhitekture i optimizatora za mehanizme pažnje.