arXiv:2607.14642: MCPEvol-Bench显示GPT-5.4与Claude在MCP工具变化时都会失去精度

MCPEvol-Bench是什么，为什么重要？

MCPEvol-Bench是由Huanxi Liu及其合作者提出的新基准测试，用于测试AI代理对不断变化的工具接口的适应能力。模型上下文协议（Model Context Protocol，MCP）是一种为AI代理提供对数据库、API和文件系统等外部工具访问的标准。现有的基准测试假定工具接口保持固定，但在生产环境中，MCP服务器不断更新并改变其接口。

基准测试如何模拟工具变化？

研究团队定义了11种变异算子——模拟的工具接口变化，例如重命名参数、更改数据类型或重构响应结构——并将其应用于123个MCP服务器。代理必须在变异前后执行相同的任务，成功率的差异衡量模型对工具演化的抵抗能力。

前沿模型在演化后的服务器上损失了多少性能？

共测试了12个前沿LLM，结果显示，即使是最先进的模型也难以跟上变化。GPT-5.4在演化后的服务器上相较于静态服务器出现了13.7%的性能下降，而Claude-Sonnet-4-6下降更多——达14.4%。这一对比表明，Anthropic的模型对工具接口变化的敏感度略高于OpenAI的模型，尽管差距很小，仅0.7个百分点。

这对代理的未来意味着什么？

随着准确率下降，规划与推理错误的数量也在增加——代理错误地解读被修改的参数，或试图调用服务器上已不再存在的过时版本工具。研究者的结论毫不含糊：动态工具环境仍然是即便是最先进模型的薄弱环节，无论它们来自OpenAI还是Anthropic家族。

作者总结道，MCPEvol-Bench为适应性训练的新策略打开了空间，因为静态基准测试高估了代理在工具几乎每天都在变化的生产环境中的实际准备程度。