RA-RFT：基于类比的强化学习新方法将数学推理提升 7.1 分

一支研究团队在 arXiv 平台发布了一种名为 RA-RFT（Retrieval-Augmented Reinforcement Fine-Tuning，检索增强强化微调）的语言模型微调新方法，通过将类比学习与基于反馈的强化训练相结合，提升数学推理能力。

核心创新不在于做了什么，而在于选择了什么：与标准的语义相似示例检索不同，RA-RFT 学会检索对推理有益的示例——正是这一区别产生了真正的影响。

根本问题：语义相似度 ≠ 解题有用性

依赖示例检索的语言模型（检索增强生成，RAG）通常按语义相近度搜索知识库：“哪个示例与此问题相似？”

然而，RA-RFT 的作者进一步提出了一个关键观察：语义相似的问题可能需要完全不同的解题策略，而表面上看似无关的问题有时共享相同的底层推理模式。

举例而言：两道数学题可能使用相同的符号和术语，却需要完全不同的方法求解。相反，一道组合数学题和一道图论题可能共享同一逻辑跳跃，而这正是模型需要学习的。传统搜索选错了示例。

RA-RFT 如何解决这一问题？

该框架由两个关键组件构成：

第一是黄金相关性蒸馏（gold-relevance distillation）。训练一个独立的检索模型，衡量的不是语义相近度，而是预期推理效益——所选示例实际上能在多大程度上帮助模型解决任务。这个检索器从哪些示例能够得出正确答案的数据中学习，而非仅仅看起来相似的示例。

第二个组件是基于 GRPO（Group Relative Policy Optimization，群体相对策略优化）算法的强化微调（reinforcement fine-tuning）。模型（策略）以检索到的类比示例为脚手架进行训练——不是让模型直接复制，而是将其作为展示替代解题策略的路标。学到的技能通过可验证的结果（如数学解答的正确性）进行验证。

RA-RFT 作为新的扩展维度

作者特别强调一项主张：RA-RFT 带来的提升与现有扩展维度正交。

语言模型强化学习的现代研究主要沿两个维度扩展：更好的奖励设计（reward design）和更好的训练课程（curriculum）。RA-RFT 引入了第三个维度——检索示例的质量与相关性作为一个可独立优化和改进的维度。

这意味着 RA-RFT 可以与现有方法无冲突地组合使用，使其成为已使用 GRPO 或类似方法的技术栈中颇具吸引力的潜在工具。

AIME 2025 上的显著成果

在 AIME 2025（美国数学邀请赛）基准测试上——这是评估语言模型数学推理能力的标准测试——RA-RFT 带来了可量化的提升：

• Qwen3-1.7B 模型在 average@32 指标上相比基准 GRPO 训练提升 7.1 分
• Qwen3-4B 模型以相同方法论提升 2.8 分

检索到的示例不仅提高了准确率，还展现了互补的解题策略——模型拥有更多通往解决方案的路径，从而增强了鲁棒性。

类比学习的重要性

类比推理是人类最基本的认知机制之一。当我们遇到新问题时，会直觉地寻找已经解决过的相似问题，并问自己：“我当时是怎么做的，这里适用吗？”

对于 AI 系统而言，这一机制迄今为止仍停留在表面层次——系统找到的是看起来相似的问题，而不一定是真正有帮助的问题。

对模型训练的潜在影响

RA-RFT 是一个后训练框架，意味着它在基础模型的初始训练之后应用。这使其与已有模型兼容，无需从头进行昂贵的重新训练。

作者以 Qwen3 系列模型进行了实验，但该方法论原则上适用于任何配备适当示例检索库的语言模型。

改进的领域不仅限于数学：任何具有明确定义的解题路径且有足够示例的领域都可能从同样的逻辑中获益。代码、形式逻辑和法律是自然的下一步方向。