arXiv:2607.14642：MCPEvol-Bench、GPT-5.4とClaudeの両方がMCPツール変更時に精度を失うことを示す

MCPEvol-Benchとは何であり、なぜ重要なのか？

MCPEvol-Benchは、Huanxi Liuと共著者らが発表した新しいベンチマークで、変化するツールインターフェースに対するAIエージェントの適応性をテストします。Model Context Protocol（MCP）は、AIエージェントにデータベース、API、ファイルシステムといった外部ツールへのアクセスを提供する標準です。既存のベンチマークはツールインターフェースが固定されたままであることを前提としていますが、実際の運用ではMCPサーバーは絶えず更新され、インターフェースを変化させています。

ベンチマークはどのようにツールの変化をシミュレートするのか？

研究チームは、パラメータの名前変更、データ型の変更、応答の再構築といった、ツールインターフェースのシミュレートされた変化である11のミューテーションオペレーターを定義し、これを123のMCPサーバーに適用しました。エージェントは変異の前後で同じタスクを実行しなければならず、成功率の差がツールの進化に対するモデルの耐性を測定します。

フロンティアモデルは進化したサーバーでどれだけ性能を失うのか？

12のフロンティアLLMがテストされ、その結果、最も先進的なモデルでさえ変化に追いつくのが困難であることが明らかになりました。GPT-5.4は、静的なサーバーと比較して進化したサーバーで13.7%の性能低下を記録し、Claude-Sonnet-4-6はさらに大きく——14.4%——低下しました。この比較は、Anthropicのモデルがツールインターフェースの変化に対してOpenAIのモデルよりもわずかに敏感であることを示していますが、その差は0.7ポイントとわずかです。

これはエージェントの未来にとって何を意味するのか？

精度の低下とともに、プランニングと推論のエラーの数も増加しています——エージェントは変更されたパラメータを誤って解釈したり、サーバー上にもはや存在しない古いバージョンのツールを呼び出そうとしたりします。研究者の結論は明確です。動的なツールランドスケープは、OpenAIかAnthropicのファミリーのどちらに由来するかに関わらず、最も先進的なモデルにとってさえ弱点であり続けています。

著者らは、静的なベンチマークがツールがほぼ毎日変化する運用環境に対するエージェントの実際の準備状況を過大評価しているため、MCPEvol-Benchが適応性トレーニングの新しい戦略の余地を開くと結論づけています。