arXiv: ASSAY框架通过选择性屏蔽技能创下大语言模型智能体新纪录

北卡罗来纳大学教堂山分校的研究团队——王一轩、周奕阳、梁一鸣、张聪宇、刘馥萍、周佳威和姚华秀——发表了一篇论文，识别出从经验中学习的大语言模型智能体的根本问题：智能体没有区分技能库中有益技能与有害技能的原则性方法。这不仅是理论问题——从经验中学习但不知道如何筛选知识的智能体，随着时间推移可能积累一个劣质资源抵消优质资源的技能库。该论文引入了ASSAY（Attributed Skill curation for Agent Systems，智能体系统的归因技能整理）框架，通过经验因果归因解决这一问题，无需对模型权重进行任何修改。

因果异质性：相同技能，相反效果

现代大语言模型智能体可以从经验中以自然语言描述的形式积累技能（skills），并将其用于更好地解决未来任务。作者识别的问题被称为因果异质性：个体技能在某些任务类型上经常有所帮助，同时在其他任务上造成损害。当这些相互抵消的效应在整个技能库层面聚合时，它们相互抵消——这就是为什么关注技能平均效果的全局修正方法无法发现这一问题。智能体继续无差别地使用所有技能，不知道其中某些技能在特定情境下不是中性的，而是有积极害处的。

为什么全局技能库修正方法不起作用

现有的技能库修正方法主要依赖大语言模型自身的评估——模型评估哪些技能有用。作者认为，对于修正任务来说，这在概念上是错误的：从经验生成技能是大语言模型擅长的创造性行为，但判断该技能是否真正有用需要来自一系列任务的经验证据。模型无法自行评估自身的盲点。在同一个大语言模型判断中将这两个任务合并，使系统缺乏客观指标和检测情境有害性的机制。

ASSAY如何将创造性与经验性分离？

ASSAY将修正分为两个独立阶段。在第一阶段，技能生成仍是智能体以标准方式从经验和交互中执行的创造性任务。在第二阶段，ASSAY通过在小型开发集上的随机屏蔽测量每个技能的因果贡献：对于每个任务，随机停用技能并测量对任务结果的影响。从这些测量中，系统建立按技能归因图——对于哪类任务技能有帮助，对于哪类任务有害。基于这张图，ASSAY在推理时为每个具体测试任务动态抑制具有预测负效应的技能。没有权重修改，没有全局技能删除——仅在执行时进行情境过滤。

AppWorld和tau-bench新纪录

实验涵盖来自4个服务提供商的7个基础模型和2个基准测试——AppWorld和tau-bench。在AppWorld基准测试的最难部分，DeepSeek-V3配合ASSAY达到69.3%的任务目标完成率——相对基线相对提升47.4%，创下包括使用权重调优方法在内的最新最优结果。在tau-bench零售部分，GPT-4.1配合ASSAY取得**8.7%**的相对提升，在公开排行榜上超越o4-mini、o1和GPT-4.5——完全无需权重调优。结果在所有测试模型和两个基准测试中保持一致，表明这一发现不是特定模型的产物。

按任务屏蔽：改进的关键因素

消融实验精确定位了改进来源。全局移除具有负平均效应的技能带来的收益小于按任务屏蔽。关键差异在于情境粒度：对于平均任务有害的同一技能对于特定类型的任务可能有益，反之亦然。按任务屏蔽能够区分这一点；全局方法做不到。作者得出结论，从经验中学习的智能体的瓶颈是在推理时将技能与任务类型对齐——而非全局清理技能库。这一区别在实践中很重要：这意味着知道自己在解决哪类任务的系统可以动态选择正确的知识子集，而不是不加过滤地传递整个积累的技能库。代码在GitHub上公开可用。