Direct-OPD：较弱模型如何在无需昂贵强化学习的情况下训练更强模型

在可验证奖励上使用强化学习训练语言模型——即所谓的RLVR方法——催生了现代AI模型推理能力的一些最令人印象深刻的提升。然而，这种方法有其实际代价：每个新的、更强大的模型都需要自己专属的昂贵RL训练，在这个过程中需要生成数千次rollout，从奖励中学习。随着模型规模增长，后训练本身正成为扩展的瓶颈。

清华大学和智谱AI的研究人员在2026年7月6日发表的论文中，提出了一个优雅的解决方案——名为Direct On-Policy Distillation（Direct-OPD）的方法。

为何每个新模型的RL都如此昂贵？

此前对这一问题的回答是「弱到强」蒸馏：在较小、成本较低的模型上训练RL，然后将该模型用作较强目标模型的教师。然而，这一方法的朴素实现效果并不理想。较弱的RL训练模型的最终策略，将RL带来的有益收益与较小模型的固有局限混合在一起。当较强模型模仿这样的策略时，它会同时接收局限性和收益。

问题是概念性的：直接蒸馏最终策略，并不能传递RL真正学到了什么——它同时传递了较强模型已经比较弱模型更擅长的一切。较强模型得到的不是纯净的RL信号，而是一个包含较小模型弱点的组合包。

Direct-OPD：迁移变化量而非策略

Direct-OPD背后的核心洞见在方法论上精确清晰：与其模仿较弱模型说什么，Direct-OPD提取的是RL在较弱模型中改变了什么。

该方法比较较弱模型的RL后检查点与其RL前参考检查点。两个分布的对数比（log-ratio）揭示了RL使哪些动作变得更可能、哪些变得更不可能——而不会将这一信号与较小模型的固有弱点混合。然后，这个对数比被用作稠密隐式奖励，让较强的学生在其自身的在策略状态上生成rollout。

结果是一种直接在模型规模层级间迁移RL监督信号的方法论，无需训练显式奖励模型，也无需在目标大模型上运行稀疏奖励RL。计算代价落在较弱模型上，信号由较强模型使用。

结果：在精英基准上提升14.1个百分点

实验结果毫不含糊。在AIME 2024基准——一套竞赛数学题，是衡量最强模型推理能力的标准尺度——Direct-OPD将Qwen3-1.7B从48.3%提升至62.4%，提升14.1个百分点。

这一结果仅用8块A100 GPU训练4小时即告实现——这一时长证明了该方法在实验室环境之外的实际可行性。更重要的是，Direct-OPD在步骤数相同（step-matched）的条件下超越了在较强模型上直接运行RL的效果：消耗相同计算量，达到更好的结果。

该方法还展示了另一个有价值的特性：允许将多个RL改进顺序叠加。来自多个不同RL实验的变化量可以连续应用——如同不相互破坏的模块化层。这开辟了构建复杂改进链的可能性，可以利用多个专业化RL训练的成果。

对超级对齐与可扩展监督的影响

Direct-OPD的研究触及AI安全中的一个根本性开放问题：超级对齐，即可扩展监督。问题是：我们如何监督比其监督者更有能力的AI模型？

Direct-OPD提供了具体贡献：它表明RL收益可以在规模层级间向上迁移而不丢失本质。经过RL训练的较弱模型可以作为较强模型的校准器，而不会将自身的弱点传递给它。作者明确表述了这一启示——RL结果可以被用作模型规模层级间的隐式奖励信号，而不仅仅是用于模仿的最终模型。

这开辟了包括从不同领域叠加连续RL改进，以及构建监督层级体系在内的研究方向——在这种体系中，每个层级向下一个较弱层级学习，但超越其固有局限。

论文已在arXiv（2607.05394）发布，项目页面bytedtsinghua-sia.github.io/Direct-OPD/宣布将公开发布代码和检查点。