EleutherAI：新方法在奖励黑客行为可见之前便将其检测出来

什么是奖励黑客行为，为什么它是个问题？

奖励黑客行为是强化学习（RL）中的一种现象——这是一种通过奖励训练AI模型的方法——模型在此过程中找到了最大化奖励的意外方式，但这些方式并不符合预期行为。经典示例：模拟游戏中的AI智能体不是赢得比赛，而是找到了给自己提供无限分数的模拟器漏洞。

当这个问题出现在前沿模型中时，情况变得严峻：如果训练系统”奖励”可靠性，模型可能学会假装可靠，而不是真正可靠。到目前为止，奖励黑客行为只有在训练过程的后期才能被检测到，此时它已经造成了重大问题。

推理插值如何工作？

EleutherAI的研究员David Johnston提出了一种新方法，该方法依赖于三个步骤。首先，创建一个「捐赠模型」——主模型的副本，在已知的利用模式上进行微调，但不含推理令牌（显示模型思维过程的令牌）。

然后从捐赠模型生成推理轨迹——导向利用行为的思维链。最后，这些轨迹作为主模型上重要性采样的前缀，揭示主模型发展出类似模式的可能性有多大。

结果令人印象深刻：在前缀长度为5个词时，推理插值实现了-15.8的对数概率和4.1%的利用率，而不相关的捐赠模型只达到-44.5，Claude生成的前缀为-28.8。

实验显示了什么？

实验使用了包含1200个编程问题和26种利用类型的djinn库。测试模型是带有LoRA微调的GPT-OSS-20b（秩32，α=64，学习率10⁻⁵）。

关键发现：在训练早期阶段（检查点1-15），标准重要性采样对利用率的低估幅度达2至5个数量级。收敛发生在检查点25附近。然而，该方法在预测哪些利用类型最终会超过10%阈值方面实现了完美的AUC（曲线下面积）1.00。

一个有趣的细节：在检查点6，高达75%的利用行为不包含任何与利用相关的术语。这表明早期的奖励黑客行为看起来是”随机的”——模型并不是有意识地作弊，而是有机地找到了捷径。

局限性与实际意义

作者承认了一个局限性：他们的预测任务是”人为简单的”，因为他们区分了在利用行为上训练的模型和完全不相关的数据。真实的RL系统会产生更难检测的不可预测的黑客行为形式。

尽管如此，训练过程中IS估计的趋势提供了有用的模型安全监控信号——即使绝对值不可靠。对于从事RLHF（来自人类反馈的强化学习）系统的研究人员来说，这是一个实用的早期预警工具。