AgentGym2：新ベンチマークがLLMエージェントを非理想的な条件でテスト

これまでのLLMエージェントのテストは本当の能力を測っているのか、それとも実験室の障害を通過する能力を測っているだけなのか？Zhiheng Xiが率いる24名の共著者からなる研究グループがAgentGym2を発表した。この問いに正面から向き合い、具体的な答えを提供する評価フレームワークだ。これまでのベンチマークは過度に単純化・理想化された設定を使用しており、そのため本番環境でのエージェントの真の難しさを劇的に過小評価しているというものだ。この論文はACL 2026のメインカンファレンス論文として採択された。

すべての標準的なベンチマークはエージェントに事前に準備されたツール、クリーンで完全な入力データ、明確に定義されたタスクを与える。これらは実際のシステムではほとんど存在しない条件だ。本番デプロイでは、エージェントは自ら発見しなければならない未知のツール、必要な情報をすべて提供しない不鮮明な入力、1つのフェーズでのエラーがその後のすべてをカスケード的に破壊する多段階タスクに定期的に遭遇する。AgentGym2はまさにその現実を評価に取り入れるために作られた。

実験室と現実世界を分ける4つの次元

AgentGym2は、これまでのテストが体系的に回避していた側面にそれぞれ向けられた4つの評価次元に基づく構造化されたフレームワークを導入する。

エンドツーエンドの手順実行は、外部介入に依存せずに完全なワークフローを実行するエージェントの能力を測定する。早期フェーズでのエラーは後続のすべてのステップに伝播する――実際の自動化パイプラインの脆弱性を反映している。

環境探索を通じたツールの発見は、利用可能なオプションの事前リストを受け取るのではなく、エージェントが自ら利用可能なオプションを識別することを要求する。これはエージェントが事前のマニュアルなしで未知の環境に入る条件をシミュレートする。

未知のタスクに対するツールの組み合わせは、トレーニングで見たことがないやり方で複数のツールを組み合わせる能力をテストする。記憶された解決策ではなく汎化こそが実際に測定されるものだ。

ノイズと不完全な情報への頑健性は意図的に不正な形式の入力、矛盾、不十分なコンテキストを導入する。実際の環境でユーザーとシステムが完璧に構造化されたクエリを書くことはほとんどなく、エージェントはそれにもかかわらず機能的でなければならない。

15モデルのテスト結果が明らかにすること

著者らはAgentGym2ベンチマークで15のモデルを評価した。GPT-5やGeminiなどの主要な独占システムと多くのオープンソースの代替品も含んでいる。結論は明確だ。すべてが大幅に失敗した。テストされたどのモデルも、集中的な監督と検証なしに自律的な本番デプロイに受け入れられるパフォーマンスレベルに達しなかった。

特に注目されるのは、同じモデルが理想化されたベンチマークで達成する結果との差の大きさだ。パフォーマンスの低下は限界的でも予期しないものでもない――著者らはそのギャップを劇的と表現し、以前のランキングが実際のエージェントがすべきことと本質的に異なるものを測定していたことの明確な証拠としている。標準的なテストでの高スコアはもはや本番対応を意味しない。

AgentGym2が研究コミュニティの新しい基準を設定する

ACL 2026への採択――自然言語処理のための最も権威ある年次会議の一つ――は、研究コミュニティが問題の深刻さを認識していることを確認する。以前のベンチマークは実用的だから生き残ってきた。自動化が簡単で、評価が迅速で、モデル間で比較しやすい。しかし容易さを測っているとしたら長期的には研究を間違った方向に導く。

AgentGym2は、企業、自動化されたワークフロー、ユーザーアプリケーションでエージェントが遭遇する条件に近い非理想化されたシナリオに基づく代替手段を提供する。4つの評価次元を合わせることで、以前は定期的に省略されていた側面をカバーする。発見、組み合わせ、頑健性、タスクの完全な実行だ。

本番エージェントシステムを構築する開発チームへのメッセージは明確だ。古いテストでの高スコアは、実際の仕事がエージェントを待つ場所でそれが機能するという保証ではない。