arXiv：SciAgentArena——AIエージェントが真に科学研究をこなせるかを測るベンチマーク

イェール大学・コーネル大学・ハーバード大学・MIT・スタンフォード大学の5つの世界トップ大学の研究者コンソーシアムは2026年6月10日、科学的課題の解決におけるAIエージェントの実際の能力を測定するよう設計された新ベンチマークSciAgentArenaを紹介する論文を発表した。筆頭著者Tianyu Liuを含む33名の共著者にはMarinka Zitnik、James Zou、Hongyu Zhaoが名を連ねる。

SciAgentArenaが測定するものとその重要性

これまでのAIエージェントベンチマークは主に、既知の解を持つ明確に定義された問題でのパフォーマンスをテストしてきた。これは有用だが根本的に限定的だ。真の科学研究は、適切に仕様化された問いとクリーンなデータセットと明確な評価方法がセットになって届くことはほとんどない。

SciAgentArenaはこのギャップを埋めようとする。ベンチマークは多様な科学分野にわたる約200のタスクを含み、既知のデータに既知のプロトコルを適用する能力ではなく、真の研究レベルの推論（research-level reasoning）を探ることができるよう設計されている。タスクはクロスドメインの推論、ツールの使用、科学的結論の妥当性に関する判断を必要とする。

エージェントが成功する領域と躓く領域

論文の重要な発見はパフォーマンスの明確な非対称性だ。

エージェントが良好に機能するのはタスクの構造が明確なとき——つまり、適切に仕様化されたデータ分析のワークフロー（well-specified data-analysis workflows）だ。エージェントが何をどの順序で行うべきかを知っているとき、結果は適切だ。

エージェントが明確な弱点を示すのはまさに真の研究が始まる場所だ。

• 新知見の生成（novel insights）— データから明示的に求められていなかった結論を導く能力
• 独立した探索（independent exploration）— 外部からのナビゲーションなしに仮説空間を自律的に動き回ること
• オープンエンドの研究課題（open-ended research questions）— 研究者自身があらかじめ「正解」を知らない状況

その違いの根本的な性質

著者たちは科学ドメインを超えてパフォーマンスが一貫しないことを強調する。バイオインフォマティクス分析で優れたエージェントが物理や化学の問題ではまったく異なる結果を示す可能性がある——これは現在のエージェントが汎用的な研究戦略を学習しておらず、ドメイン固有のパターンを模倣していることを示唆する。

これは自律的な研究エージェント（autonomous research agents）——仮説を独立して定式化し、実験を計画し、結果を解釈すべきシステム——への野望に直接的な意味合いを持つ。SciAgentArenaは目標からの距離を定量化する。モデルの理論的能力と実践的な自律的研究効率は私たちが望む水準では一致していない。

改善のための可能な方向性

著者たちは共通の失敗パターン（common failure modes）を特定し、3つの改善方向を示す。

1. 信頼性（reliability）— 同じタスクでの試行間の分散を減らすこと
2. 自律性（autonomy）— 研究空間のナビゲーションにおける明示的な指示への依存を減らすこと
3. 科学的推論（scientific reasoning）— パターン認識を超えて真の演繹と仮説推論へと向かう能力の開発

データとタスクへのオープンアクセス

ベンチマークは再現性のために設計されている。完全なコード、タスク、データセットはsciagentarena.github.ioで公開されており、研究者は論文に記載された結果と新システムを直接比較できる。これは重要な一歩だ。標準化されたベンチマークなしには進捗を追跡したり、エージェントの能力に関するさまざまな研究グループの主張を比較したりすることが難しい。

本論文はarXivの識別子2606.12736で入手可能だ。