探针级联从第一步隐藏激活预测AI智能体失败，节省高达47%的token

执行多步骤任务的AI智能体——网页搜索、代码编写、业务流程自动化——往往在结果实际上已经确定之后很久仍在向失败进发。每一个不必要的步骤都在消耗token、内存和金钱。研究人员Kai Ruan、Zihe Huang、Ziqi Zhou、Qianshan Wei、Xuan Wang和Hao Sun开发了一个比以往更早识别这类「注定失败」轨迹的系统——理想情况下在第一次与环境交互时，而不是等到错误以可见的智能体动作形式显现之后。

隐藏状态作为失败预测器

论文的核心洞察是：失败信号并不隐藏在智能体说了什么或做了什么之中，而是隐藏在模型内部发生的事情里。神经网络隐藏激活上的轻量级探针——transformer层间产生的、编码模型每时每刻内部状态的张量——优于所有分析外部可见动作的行为学方法。

这是一个重要的概念性区别。行为评分器等待错误在输出或智能体动作中变得可见，这可能需要几个步骤或几轮交互。内部探针在模型仍在处理第一次环境交互时就捕获信号。隐藏表征对轨迹未来走向的编码远早于这些信息通过外部可见信号变得可获取——与行为基线的实证对比证实了这一点：行为评分器通常只能实现约一半的节省效果。

校准中止门控级联如何工作？

系统实现为提前停止门控的级联，每轮智能体轨迹对应一个门控。每个门控使用通过分布无关方法校准的探针，保证每轮的召回率预算——即该轮可能被错误停止的成功轨迹的精确比例。

与多门控朴素方法的关键区别在于优化是在整个轨迹层面进行的。用户设定轨迹层面的召回率目标——例如90%——系统保证至少这么多比例的本会成功完成的轨迹通过所有门控并被执行完成。各个门控联合校准以满足这一条件，而非各自独立校准。

级联架构将探针与各轮独立信号结合，比任何单门控策略实现1.6至1.7倍的效率提升。每个门控消除前一个门控未识别的部分注定失败轨迹，级联的总体精度严格超越任何单个放置在最优轨迹位置的门控的能力。

Qwen和Llama模型的实证结果

作者在90%召回率目标下对两个开源模型进行评估，测量总处理token数的节省百分比：

Qwen-2.5-7B：级联实现47.1%±10.3%的节省。近半数总消耗token用于系统正确识别为注定失败并提前中止的轨迹——而成功轨迹被错误停止的比率不超过10%。

Llama-3.2-3B：在相同召回率目标下节省37.2%±8.8%。两个模型之间的差异表明，较大模型的内部表征对结果预测更具信息量——这与较大模型编码更丰富任务状态内部表征的假设一致。

两个结果都大幅优于行为评分器，后者在相同条件下节省约一半，从而实证确认隐藏状态比外部可见动作携带显著更多的预测信息。

对生产环境的影响

提前停止注定失败轨迹对智能体系统的运营成本有直接影响。计算消耗与轨迹长度成正比：每一个用于注定失败路径的token都是无回报的成本。在高任务量系统上，即使是保守的37%节省也能转化为显著的基础设施成本降低。

召回率参数允许在不重新训练的情况下将级联适配到不同的业务优先级。对于关键任务——错误停止成功轨迹的代价比计算低效更高——召回率可以提高到95%至97%，允许更小比例的注定失败轨迹通过以换取更大的安全边际。对于高量、低关键性环境，激进的token节省可能是优先事项。这种灵活性使级联无需在核心架构上妥协即可适用于各种生产场景。