arXiv:2605.15514: RoPE在长上下文中无法区分位置或词元——基本限制的理论证明

什么是RoPE，为何对所有现代LLM至关重要？

大型语言模型（LLM）基于Transformer架构，该架构天然无法知道序列中每个词元的位置。位置编码解决了这一问题：为每个词元分配其在上下文中位置的信息。没有位置编码，模型将无法区分「狗咬人」和「人咬狗」。

旋转位置编码（RoPE）如今是这一任务的主导标准。2021年的论文引入了这一方法，此后它已成为几乎所有相关架构的组成部分：所有代次的Meta Llama、Mistral、Qwen、GPT-NeoX以及众多衍生架构。RoPE通过向量空间中的旋转编码词元之间的相对位置——这是一个在短中等长度上下文中运作良好的优雅数学解决方案。

RoPE在长上下文中数学上做不到什么？

新的arXiv论文（2605.15514）《RoPE在长上下文中可被证明地既无法区分位置也无法区分词元》由Yufeng Du、Phillip Harris、Minyang Tian、Eliu A. Huerta、Srikanth Ronanki、Subendhu Rongali、Aram Galstyan和Hao Peng撰写，提供了两个基本限制的正式理论证明。

局部位置偏置的丧失。 在正常操作中，注意力机制应该倾向于更近的词元——语义上下文通常来自相邻句子，而非遥远段落。作者证明随着上下文长度的增长，RoPE不再表现出这种偏置：模型将注意力指向位置1的词元与位置10,000的词元的概率变得相等。区分近位置和远位置的错误率趋向50%。

词元一致性的丧失。 更严重的问题是，同一词元在上下文中的不同位置可能获得截然相反的注意力分数。在某个位置获得高注意力的关键向量，在另一个位置可能获得低注意力——没有任何语义上的理由。此外，即使词元被移动或替换为另一个词元，注意力分数可能保持不变。

两种退化效应在理论分析中都收敛到50%的错误率——这在实践上等同于随机猜测。

对长上下文LLM的影响

实际后果是显著的。近年来，业界一直在积极努力扩展LLM的上下文窗口——从4,000个词元扩展到128,000、100万乃至更多。模型的市场定位恰恰在于处理长文档、知识库和复杂查询的能力。这篇论文从数学上质疑了所有使用RoPE的架构的这一能力的基础。

作者特别检验了该问题在现有RoPE框架内是否可以解决。调整基础参数（RoPE base）——这种技术已被用于扩展上下文窗口——显示出逆向关系：增大基数改善了词元区分能力，但不可避免地牺牲了位置区分能力。这是一个根本性的权衡，而非可以修补的技术细节。更深的网络或多头注意力架构都无法弥合这一理论限制。

下一步——新的位置机制？

作者得出结论，RoPE深度整合进所有主流架构并不意味着这个问题此前就已为人所知或被接受，而是说它现在才被正式证明。他们的建议很明确：需要为Transformer模型中词元的位置和顺序编码开发全新的基本机制。

该论文共35页11幅图，是少数用理论工具——而非仅用实证基准测试——揭示整整一代LLM根本架构弱点的工作之一。这是否会促使Meta AI、Mistral AI或阿里巴巴（Qwen）等研究实验室在下一代模型中重新设计位置编码，仍是一个开放性问题。