arXiv:2605.02503: DataClaw——探索的データ分析における AI エージェントのプロセス品質を測る過程指向ベンチマーク

DataClaw は、AI エージェントが実際の条件での探索的データ分析を実行する能力を測定する新しいタイプのベンチマークを導入します。

EDA（探索的データ分析）は、正式なモデリングの前に分析者またはエージェントがデータセットの構造、異常、仮説を発見する研究フェーズの段階です。

DataClaw は何を違う方法で測定しますか？

最終的な答えが正しいかどうかだけを測定する既存のベンチマークとは異なり、DataClaw はプロセス全体を評価します：分析手法の選択、中間結果の解釈、エラーの認識、作業中の戦略の調整。

著者（Zhang ら）は、タスクレベルの指標が、誤った方法で正しい答えに到達するエージェントの重大な弱点を「隠す」と主張しています。

手続きの正確性がなぜ重要なのですか？

手続きの正確性が規制上の重要性を持つ領域では、誤ったステップで正しい答えを得ることが問題になります——たとえば医療や金融では、審査員や規制機関は数値的な結果だけでなく、透明で説明可能な意思決定のプロセスを求めます。

エージェントが誤って選択された統計手法に基づいて正しい結論を導いた場合、そのような結果は入力データの変化に対して脆弱であり、規制機関に対して弁護するのが難しくなります。

ベンチマークには何が含まれていますか？

DataClaw は複数のドメインからの実際のデータタスクを含み、分析の各ステップを細粒度で評価するフレームワークを提供します。これにより研究者は、最終的な精度だけでなく推論の質によってエージェントを比較するツールを手にします。

この研究は、LLM エージェントを入力と出力だけを持つブラックボックスではなく、検証可能な手順を持つ作業協力者として扱う、増加しつつある研究グループの一員です。