arXiv:2606.09380：轨迹竞赛解决语言模型RLVR训练中的零梯度问题
Reasoning Arena是一种基于可验证奖励强化学习（RLVR）的语言模型新训练方法。它引入了head-to-head竞赛和Bradley-Terry模型来估计相对优势，而非常规的组内轨迹比较——从而消除零梯度问题，并将训练速度提升27–41%。
本文由人工智能基于一手来源生成。
RLVR训练中的零梯度问题
可验证奖励强化学习（RLVR）正成为提升语言模型推理能力的主流范式。该方法根据最终答案的正确性对轨迹进行奖励，而优势估计是在同时生成的一组样本内相对计算的。
当整组轨迹获得相同奖励时——全部正确或全部错误——问题就出现了。标准的组相对方法此时返回零梯度：模型不接收任何有用的学习信号，训练停滞。这一现象在简单任务（全部正确）和困难任务（全部错误）上尤为突出，而精确的梯度引导恰恰在这些地方最为重要。
轨迹竞赛如何解决无效信号问题？
Reasoning Arena不是使用相同奖励进行组内比较，而是在轨迹之间组织head-to-head竞赛，并通过动态锚点集上的Bradley-Terry概率模型估计每条轨迹的相对强度。Han Zhou、Adam X. Yang、Laurence Aitchison、Anna Korhonen和Albert Q. Jiang在论文arXiv:2606.09380（2026年6月8日发布）中提出了这一方法。
关键优势在于新轨迹无需与所有其他轨迹比较——代价高昂的O(n²)操作——而只需与选定的锚点比较。即使轨迹共享相同的奖励，推理质量的差异也会通过竞赛结果显现出来。这样，零优势样本就转化为有用的梯度步骤，而组内差异信息不是虚构的——而是从推理过程本身中提取的。
结果：更快、更便宜、更准确
在竞争性数学和编程基准测试上的评估显示，与标准组相对方法相比，准确率提升了+7.6%。此外，训练速度提升27至41%，样本生成的计算量减少约50%。
作者得出结论，Reasoning Arena不仅是现有RLVR训练方法更高效的替代，也是更经济实惠的选择——对于计算预算有限、希望在不按比例增加成本的情况下提升推理能力的研究团队而言尤其有价值。
常见问题
- 什么是RLVR训练中的零梯度问题？
- 当同一组内的所有轨迹获得相同奖励时，标准的组相对方法返回零梯度——模型不接收任何学习信号，训练停滞。Reasoning Arena通过轨迹竞赛比较揭示组内差异来解决这一问题。
- 应用Reasoning Arena可节省多少成本？
- 该方法将训练速度提升27至41%，将样本生成的计算量减少约50%，同时在数学和编程基准测试上准确率提升+7.6%。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。