arXiv:2605.29157: Parallax lokale lineare Aufmerksamkeit beschleunigt Decode-Phase 12,9× gegenüber FlashAttention
Parallax ist ein neuer Attention-Mechanismus für große Sprachmodelle, der die Standard-Softmax-Aufmerksamkeit durch lokale lineare Schätzung ersetzt und dabei eine 12,9-fache Beschleunigung des Decode-Kernels im Vergleich zu FlashAttention erzielt. Forscher der Northwestern University und Mitarbeiter demonstrierten konsistente Perplexity-Verbesserungen beim Vortraining von 0,6B- und 1,7B-Parameter-Modellen und behaupten die erste empirische Demonstration eines starken Architektur-Optimierer-Co-Designs für Attention-Mechanismen.