arXiv:2605.29157: Parallax局所線形アテンションがデコードフェーズをFlashAttentionの12.9倍高速化
Parallaxは大規模言語モデル向けの新しいアテンションメカニズムで、標準的なソフトマックスアテンションを局所線形推定に置き換え、FlashAttentionと比べてデコードカーネルを12.9倍高速化します。Northwestern大学の研究者らは、0.6Bおよび1.7Bパラメーターモデルの事前学習においてパープレキシティ指標の一貫した改善を示し、アテンションメカニズムにおけるアーキテクチャとオプティマイザーの強力な共同設計の初の実証と主張しています。