AgentGym2：全新基准在去理想化条件下测试LLM智能体

现有的LLM智能体测试衡量的是真实能力，还是仅仅是通过实验室障碍的能力？由Zhiheng Xi领导和24位合著者组成的研究团队发布了AgentGym2——一个直接提出这一问题并给出具体答案的评估框架：现有基准采用了过于简化、过于理想化的设置，从而大幅低估了智能体在生产环境中所需面对的真实难度。该论文已作为主会论文被ACL 2026接收。

每个标准基准都给智能体提供预先准备好的工具、干净完整的输入数据和定义明确的任务。而这些条件在真实系统中几乎从不存在。在生产级部署中，智能体会不断遭遇未知工具（需要自行探索）、含噪输入（无法提供所有必要信息）以及多步骤任务（早期阶段的错误会级联破坏后续一切）。AgentGym2正是为了让这一现实进入评估而生。

将实验室与真实世界区分开来的四个维度

AgentGym2引入了一个基于四个评估维度的结构化框架，每个维度都针对现有测试系统性回避的一个方面：

端到端流程执行衡量智能体在不依赖外部干预的情况下完成完整工作流的能力。早期阶段的错误会级联传播到所有后续步骤——这反映了真实自动化管道的脆弱性。

通过探索环境来发现工具要求智能体自行识别哪些选项可用，而不是接收一份预先整理好的说明列表。这模拟了智能体进入未知环境而无需预先手册的条件。

针对未知任务的工具组合测试以训练中未见过的方式组合多种工具的能力。真正被衡量的是泛化能力，而不是对现成解决方案的记忆。

对噪音和不完整信息的鲁棒性故意引入格式不规范的输入、矛盾信息和上下文缺失。在真实环境中，用户和系统很少能写出完美结构化的查询，而智能体必须在这种情况下依然保持功能正常。

测试15个模型，结果说明了什么？

作者在AgentGym2基准上评估了15个模型，包括领先的专有系统——GPT-5和Gemini——以及一系列开源替代方案。结论是明确的：所有模型都表现显著欠佳。没有任何被测试的模型达到了在无需密集监督和验证的情况下进行自主生产级部署所需的性能水平。

特别引人关注的是与同款模型在理想化基准上取得的结果相比，性能差距的巨大程度。性能下降不是微不足道的，也不仅仅出乎意料——作者将这种落差描述为戏剧性的，作为明确证据表明现有排行榜衡量的是与智能体在真实系统中应该做的事情根本不同的东西。在标准测试上的高分不再意味着生产能力。

AgentGym2为研究界树立新的参考标准

该论文被ACL 2026接收——这是自然语言处理领域最负盛名的年度会议之一——证实了研究界认可这一问题的严重性。现有基准之所以持续存在，是因为它们实用：易于自动化、快速评估、可跨模型比较。但如果它们衡量的是易用性而非现实，长远来看会将研究引向错误的方向。

AgentGym2提供了一个基于去理想化场景的替代方案，这些场景更接近智能体在企业、自动化工作流和用户应用中实际遭遇的条件。四个评估维度共同覆盖了此前经常被省略的方面：发现、组合、鲁棒性和完整任务执行。

对于构建生产级智能体系统的开发团队，信息很明确：在旧测试上的高分不能保证智能体在真正的工作场所中会如期运行。