SWARR：强化学习使滑动窗口注意力在数学推理中具有竞争力

驱动现代大型语言模型的标准自注意力（self-attention）机制存在根本性限制：它随上下文长度二次方扩展。每个token必须与所有其他token进行比较，对于长输入而言计算代价过高。替代方案存在——滑动窗口注意力（sliding-window attention，SWA）将每个token限制在相邻token的局部窗口内，提供线性复杂度——但历史上在复杂任务上存在显著的性能下降。

八位研究人员——Kai Liu、Peijie Dong、Xinchen Xie、Jianfei Gao、Qipeng Guo、Xiaowen Chu、Shaoting Zhang和Kai Chen——在arXiv发表论文，提出SWARR（通过强化学习实现滑动窗口注意力，Sliding-Window Attention via Reinforcement Learning）：一种显著减少这种性能下降的两阶段方法。

二次方扩展与长上下文的问题

全注意力（standard attention，SA）使每个token都能访问上下文中的所有其他token——对于需要追踪长程依赖（long-range dependencies）的任务而言极为强大。数学推理正是这样的任务：模型必须跟踪多步推导链、保留中间结果并回溯早期步骤。

滑动窗口注意力在物理上限制了这一能力：每个token只能看到固定窗口大小内的相邻token。此前将全注意力模型转换为SWA的尝试，正是在这类任务上导致了显著的准确率下降，这限制了这一本来颇具吸引力的方案的实际应用。

SWARR如何分两步解决问题？

SWARR是一种两阶段方法：

第一步——监督微调（Supervised Fine-Tuning，SFT）：将预训练的全注意力模型通过标准SFT转换为滑动窗口注意力模型。这一步骤是必要的起点，但作者表明仅凭这一步对于复杂推理任务是不够的。

第二步——强化学习策略适应（Reinforcement Learning，RL）：模型经历RL阶段，专门针对滑动窗口架构约束优化推理轨迹（reasoning trajectories）。这是SWARR的核心创新。

关键洞见：数据与架构不匹配

作者识别出SFT无法解决的根本问题：数据与架构不匹配（data-architecture mismatch）。训练数据集通常由全注意力模型生成，这些模型自由使用长程依赖。当模型转换为滑动窗口时，产生了根本性的差距——学到的推理策略假设能访问滑动窗口物理上无法获取的信息。

SFT在由全注意力模型生成的现成数据上优化模型。而强化学习生成自己的推理轨迹——所谓的在策略（on-policy）方法，本质上与架构对齐。模型学会以与其实际能看到的内容相匹配的方式进行推理。作者将这一洞见定位为论文的核心贡献。

数学推理结果

在数学推理任务上的实验表明，SWARR在显著缩小滑动窗口注意力与全注意力模型之间性能差距的同时，保留了长上下文线性复杂度的效率优势。

作者得出结论，RL「从根本上改变了关于滑动窗口注意力在数学任务上适用性的结论」——将其从仅仅「可接受的」替代方案转变为真正具有竞争力的替代方案。

对高效语言模型的影响

SWARR为无需二次计算代价、同时在复杂推理任务上保持高性能的长上下文处理模型铺平了道路。这对广泛的应用领域具有重要意义：从长法律文件和源代码分析，到解决复杂数学问题。

从更宏观的角度看，这项工作表明，精心设计的RL可以成为将最初使用一种注意力机制训练的LLM架构适配为架构上不同的、更高效的替代方案的关键工具——无需从零开始重新训练。