arXiv:2606.24014: 健康领域RL训练将对齐能力迁移至80%以上的OOD基准

什么是对齐迁移，为何重要？

对齐迁移是指模型将在一个领域（如医疗健康）中学到的有益特征应用于完全不同的情境，而无需额外训练的能力。Google Research发表了论文《面向广泛且持续有益模型的强化学习》（作者：Akshay V. Jagadeesh、Rahul K. Arora、Khaled Saab等），表明这种迁移是可行的，且可在大规模范围内被度量。

RL训练是如何进行的？

研究人员构建了衡量四种有益特征的数据集：真实性（truthfulness）、公平性（fairness）、风险意识和可纠正性（corrigibility——模型被修正或停止的能力）。训练主要在医疗健康、科学和教育领域进行。核心结果：在超过50个独立OOD基准中，**超过80%**的基准上记录到了性能提升——也就是说，在训练领域以外的评估中也有进步。与传统方法（每个应用场景单独对齐）不同，该模型通过一次训练实现了泛化。

在实践中意味着什么？

采用此方法训练的模型对对抗性提示——试图引导模型产生有害输出的用户行为——以及有害微调攻击（攻击者试图事后使模型产生有害行为）表现出更强的抵抗力。同时，该方法减少了奖励欺骗现象——即模型在没有真正学习到期望行为的情况下优化奖励指标的问题。具体而言，健康领域RL带来了「在非健康对齐评估上的广泛提升」——这表明特定领域的训练并非信息孤岛。

为什么这是一个突破？

以往的模型需要针对每个应用场景单独对齐。这项研究表明有益行为是可迁移的——就像在医学中养成职业道德习惯的医生，同样会将这些原则应用于商业决策。论文于2026年6月22日提交，并提出了一个问题：精心设计的单次RL训练阶段是否将成为每个大型模型流水线的标准组件。