ICML 2026研究：SFT与RL智能体在受控基准之外性能大幅下降

论文「Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use」（作者：Song-Lin Lv、Weiming Wu、Rui Zhu、Zi-Jian Cheng和Lan-Zhe Guo）被ICML 2026接收，并于2026年7月1日发布。该研究直接挑战了许多评估实践背后的基本假设：在基准测试上取得良好准确率意味着智能体在实际部署中具有鲁棒性。

用于开放世界压力测试的受控沙箱

研究团队开发了一个可复现的沙箱，支持通过四个层次系统测试分布偏移：

• 感知 — 智能体接收和解读输入信息方式的偏移
• 交互 — 智能体使用的工具的接口和行为变化
• 推理 — 任务内逻辑推断要求的变化
• 内化 — 需要适应已学习知识的领域偏移

每个层次模拟了在实际部署中真实出现、但在标准训练和评估数据集中很少存在的特定类型变化。

核心发现：静态训练导致脆弱性

为何基准准确率无法预测鲁棒性？

该研究的核心发现是，通过监督微调（SFT）和强化学习（RL）训练的智能体在全部四个层次的分布偏移下均表现出显著的性能退化——即使这些偏移幅度很小。

关键含义是：受控基准上的准确率无法预测真实的鲁棒性。基准性能与真实条件下性能之间的差距巨大，且被系统性地低估。一个在受控环境中表现出色的智能体，当工具交互的任何方面发生变化时——即使任务本身没有改变——也可能出现性能大幅下降。

这直接挑战了基于RLHF或SFT训练的工具使用智能体能够可靠地泛化到新工具集、新API或新应用领域的假设。

PAFT：将扰动纳入训练

作为缓解方案，研究人员提出了PAFT（扰动增强微调）——一种在训练过程中明确纳入环境扰动的微调策略。智能体不再仅从工具正确使用的静态示例中学习，而是在模拟实际部署中将出现的分布偏移的修改版本上进行训练。

这一方法在概念上接近计算机视觉中的数据增强技术——但针对智能体工具使用场景中特定的变化结构进行了适配。

基础设施贡献

除研究发现外，该论文还提供了具体的基础设施贡献：一个用于工具使用智能体开放世界压力测试的可复现沙箱，可独立于特定模型架构使用。这对研究人员和实践者来说尤为宝贵，因为它提供了一种标准化方式来验证自有智能体的鲁棒性——而非仅依赖基准准确率。

被ICML 2026接收表明，学术界将这类评估基础设施视为方法论优先事项。在智能体系统被积极部署到生产环境的当下，理解静态训练的泛化局限性对于负责任的开发至关重要。