arXiv: CODA-BENCHでトップエージェントがコードとデータを組み合わせたタスクでわずか61.1%に留まることが判明

中国人民大学の研究者グループ（Yuxin Zhang、Ju Fan、Meihao Fan、Shaolei Zhang、Xiaoyong Du）は、CODA-BENCHを発表した。AIエージェントがデータ環境内でコード生成とデータ検索の両方を行う能力を同時に評価する初めてのベンチマークだ。この研究はICML 2026に採択され、自律エンジニアを目指すエージェントの既存の評価フレームワークの明確なギャップに対処する。

コード中心とデータ中心のテストのギャップ

これまでのAIエージェントのベンチマークは主に2つの次元のどちらかを選んでいた：コード生成能力（エージェントがタスクを解決するプログラムを書く）またはデータ処理能力（エージェントがデータセット内の情報を検索・分析する）のテスト。現実の開発環境にはそのような贅沢な分離はない。分析的な問題を解決するエンジニアは、まず複雑なファイル構造内の関連データを見つけ、スキーマを理解し、それからそのデータを使用するコードを書いて反復的に改善しなければならない。CODA-BENCHはまさにこの組み合わされた能力セットをテストするために設計されており——そして結果は、これが個別のベンチマークのどちらよりもはるかに難しいことを明らかにする。

なぜこれらの能力の統合は特に要求が高いのか？

問題はいくつかの相互強化する理由から自明でない。まず、データ空間は巨大で非構造化されている：エージェントはどのデータがタスクに関連するかを推論しながらファイルの階層を積極的に探索しなければならない（場所についての明示的な指示なしに）。次に、データスキーマ——カラムの型、フォーマット、エンコーディング——を推論しなければならないが、これは現実のデータセットでは常に明白でも一貫してもいない。最後に、スキーマについての誤った仮定に基づいてエージェントが書いたコードは実行されないか誤った結果を出す可能性があり、エージェントは限られたフィードバックを持つ環境で反復的にデバッグしなければならない。これら3つのステップのそれぞれが独立したエラーの源をもたらし、組み合わされたタスクでは足し算ではなく掛け算になる。

リアルなサンドボックス：Kaggle、31コミュニティ、980ファイル

著者は数百のデータセットを含むKaggleエコシステムに基づくLinuxサンドボックスを構築した。各環境は平均980ファイルを含み、エージェントが現実の開発環境で遭遇する現実のスケールと情報ノイズをシミュレートする。ベンチマークはデータ分析の多様な領域をカバーする31タスクコミュニティに分散した1,009タスクを含む。エージェントは関連データを見つけるためにファイル構造を積極的に探索し、それから指定されたタスクに答える分析コードを書いて実行しなければならない。この組み合わせ——大規模なデータ、関連リソースの不確かな場所、実際に動作するコードを生成する必要性——がCODA-BENCHをこれらの次元を別々にテストしていた既存のベンチマークよりも系統的に要求の高いものにする。

トップエージェントは成功率わずか61.1%に留まる

CODA-BENCHでの高度なエージェントの評価は明確な制限を明らかにする：トップパフォーマンスのシステムでさえ成功率わずか61.1%しか達成しない。これは同じシステムがコーディングやデータ処理の個別ベンチマークで達成するパフォーマンスを大幅に下回り、2つの能力の統合が——その合計ではなく——根本的な課題であることを確認する。データの検索とコード生成の両方を必要とするタスクを解決するために、最先端のエージェントでさえ10回中約4回失敗する。著者はこの結果が特定のモデルやアーキテクチャの問題ではなく、現在のエージェントが検索とコーディングを統合する方法の系統的なギャップを反映していると強調する。

3つの失敗クラスと今後の研究

著者はエラーケースを支配する3つの主要な失敗クラスを特定する。第1はファイル発見：エージェントが複雑な階層内で関連データを見つけられない（関連リソースが予期しない場所にあるか、非従来的な名前を持つ場合に特に）。第2はスキーマ推論：エージェントがデータ構造——カラムの型、フォーマット、エンコーディング——を誤って推論し、実行されないか誤った結果をもたらすコードにつながる。第3はデータ制約下での反復的デバッグ：環境からのフィードバックが遅く、部分的、または長い実行後にのみ来る場合に、エージェントが効果的にコードをテストして修正できない。

最も影響力のある機械学習会議の1つであるICML 2026への採択は、学術コミュニティがこのタイプのベンチマークのギャップを重要な研究貢献として認識していることを確認する。CODA-BENCHと特定された失敗クラスは、将来のシステムに対する具体的な目標を設定する：現実の開発環境で有用になりたいエージェントは、ファイル構造の探索、データスキーマの推論、不確実性の条件下での自身のコードのデバッグを——すべて同時に——学ばなければならない。