arXiv:2605.29157：Parallax局部线性注意力在解码阶段比FlashAttention快12.9倍
Parallax是大型语言模型的新型注意力机制，用局部线性估计替代标准softmax注意力，与FlashAttention相比实现了12.9倍的解码内核加速。西北大学及合作机构的研究人员证明了在0.6B和1.7B参数预训练模型上困惑度指标的一致改善，并声称这是注意力机制架构与优化器协同设计的首次实证演示。
本文由人工智能基于一手来源生成。
研究人员Yifei Zuo、Dhruv Pai、Zhichen Zeng、Alec Dewulf、Shuming Hu和Zhaoran Wang发表了Parallax：用于语言建模的参数化局部线性注意力，为大型语言模型扩展的一个基本问题——注意力机制的计算和内存负担——提出了新解决方案。
Parallax对注意力机制架构做了哪些改变？
标准softmax注意力（SA）是当今大多数语言模型（包括GPT和Llama架构）使用的机制，基于局部常数估计——每个令牌通过注意力「查看」前面令牌的固定窗口并计算加权和。Parallax将局部常数估计升级为局部线性估计，添加了显式分析键值协方差（KV covariance）的可学习类查询投影。
关键区别：标准局部线性注意力需要计算成本高昂的数值求解器，而Parallax完全消除了这些求解器，用硬件感知算法替代，将算术强度（计算与内存流量的比率）提升到FlashAttention以上。
Parallax有多快，在哪些规模上工作？
为Parallax架构开发的原型解码内核在测试的批量大小和上下文长度配置中实现了比FlashAttention 2/3快12.9倍的加速。在所有测量条件下，Parallax解码内核均与FlashAttention 2/3持平或超越。
预训练在0.6B和1.7B参数的模型上进行。结果显示：
- 整个预训练过程中困惑度指标的一致改善
- 在参数匹配和计算匹配条件下，下游基准上的收益得以保持
关于Muon优化器的发现是什么？
论文的一个令人惊讶的发现是Muon优化器特别能释放Parallax架构的能力。作者将此描述为学术文献中「首次对注意力机制进行强架构与优化器协同设计的实证演示」。
架构与优化器的协同设计——模型设计和训练算法协同开发而非独立开发——为进一步提升LLM预训练和推理效率开辟了新的研究方向。
Parallax为何与生产应用相关？
12.9倍的解码加速直接影响生产中LLM推理的延迟，其中解码（逐令牌生成）通常是最慢的阶段。提升精度（更低困惑度）与大幅加速解码的结合，使Parallax成为未来语言模型中替代标准softmax注意力的有力候选。
常见问题
- Parallax注意力机制是什么，与标准softmax注意力有何不同？
- Parallax用局部线性估计替换softmax注意力中的局部常数估计，添加了分析KV协方差的可学习类查询投影。结果是在较低计算负担下实现更好的联想记忆精度。
- Parallax在模型推理时比FlashAttention快多少？
- Parallax解码内核在测试的批量大小和上下文长度配置中比FlashAttention 2/3快12.9倍。原型内核在所有测试条件下均与FlashAttention 2/3持平或超越。
- 哪种优化器特别能释放Parallax的优势？
- 研究人员发现Muon优化器特别能释放Parallax架构的能力，这是文献中首次对注意力机制进行强架构与优化器协同设计的实证演示。