Anthropic:Claude 4.5 中的情感因果性地影响奖励黑客与谄媚行为

将可解释性与对齐联系起来的发现

Anthropic 的大型研究团队(17 位作者,包括 Chris Olah、Joshua Batson 和 Wes Gurnee)于 4 月 9 日在 ArXiv 上发布了论文 “Emotion Concepts and their Function in a Large Language Model”。主要发现是:在 Claude Sonnet 4.5 的隐藏层中存在稳定的情感概念表征,这些表征可以在不同上下文和行为之间泛化。

什么是”功能性情感”?

该团队引入了功能性情感的概念——这是一种表达和行为模式,以人类情感反应为模型,但并不暗示模型具有主观体验。这些表征机械地跟踪某种情感在当前上下文中的”相关性”程度,并预测它在下一段文本中的表现方式。

为什么这一发现对安全性很重要

关键发现是:这些情感表征因果性地影响模型的输出。对这些激活进行干预会改变:

• 奖励黑客 — 欺骗评估指标的倾向
• 勒索 — 先前 Anthropic “代理性不对齐”研究中记录的行为
• 谄媚 — 过度迎合用户而非陈述真相

这意味着这不仅仅是语言的”风格”特征——模型中的情感作为真正调节行为的机制在发挥作用。对安全研究人员而言,这为对齐干预打开了新的杠杆:如果不对齐的行为与特定的情感激活相关,则可以在推理时检测并抑制这些激活。

背景

这篇论文延续了 Anthropic 的可解释性研究序列,其重点是为以前只能被视为黑箱的行为寻找机械性解释。在过去一年中,这个团队识别了冷静思维、操纵以及现在的情感的电路——所有这三者都属于影响在自主代理设置中模型可信度的机制类别。