arXiv:2607.18100: SOPHIA激活转向技术让语言模型摆脱推理自我循环
Sheldon Yu及其合作者提出了SOPHIA,一种激活转向(activation steering)方法,可将处于延长推理状态的模型从self-loops(消耗token预算却无进展的自我重复循环)中解救出来。SOPHIA将推理前缀分类为潜在状态,在推理过程中检测循环,并通过转向向量重新引导过程,同时提升任务准确率和token效率。
本文由人工智能基于一手来源生成。
推理模型中的self-loops是什么?
Sheldon Yu及其合作者在论文「Can We Break LLMs Out of Self-Loops? Fine-Grained Reasoning Control with Activation Steering」(arXiv:2607.18100)中指出,处于延长推理模式(即所谓的extended thinking)的语言模型中,失败的推理路径会陷入self-loops,即自我重复循环,模型不断重复相似的推理步骤,却没有真正朝解决方案取得进展。这类循环会消耗token预算——分配给推理过程的有限token量——却并未提高得出正确答案的概率。
SOPHIA追踪隐藏状态并重新引导过程
作者提出了SOPHIA(Steering Of reasoning Processes via Hidden-state Intervention and Activations),这是一种将推理前缀(推理链的起始部分)分类为潜在状态(即模型的隐藏内部表示)的方法。在推理过程本身进行时,SOPHIA能检测模型何时进入self-loop,随后应用转向向量——对模型内部激活的数学修正——将推理过程重新导向新的、有成效的方向。
使用SOPHIA与不使用SOPHIA的准确率与token节省对比
根据作者的说法,应用SOPHIA转向的模型与未经干预的模型相比,同时提升了任务准确率和token效率。模型不再继续将token预算消耗在自身无法摆脱的循环上,而是借助SOPHIA放弃无效路径,将剩余token分配给解决任务的新尝试。
为何推理过程的细粒度控制很重要
这一方法表明,推理模型的问题不必仅通过修改提示词或重新训练来解决,也可以在推理阶段直接对激活层面进行干预。对于使用延长推理模型的工具开发者而言,这意味着无需额外训练即可更廉价地控制模型行为。
常见问题
- 推理模型中的self-loops是什么?
- self-loops是延长推理模型中失败的推理路径陷入的自我重复循环——模型不断重复相似的推理步骤而没有实际朝解决方案取得进展,同时消耗分配给推理过程的有限token预算。
- SOPHIA如何检测并中断自我重复循环?
- SOPHIA(Steering Of reasoning Processes via Hidden-state Intervention and Activations)将推理前缀分类为潜在状态,在推理过程中识别模型何时进入self-loop,随后应用转向向量修正模型的内部激活,重新引导推理过程。
- SOPHIA能在多大程度上提升准确率和token节省?
- 根据作者的说法,应用SOPHIA转向的模型与未经干预的模型相比,同时提升了任务准确率和token效率,因为它放弃了无效循环,将剩余token分配给解决任务的新尝试。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。