arXiv:2605.02503: DataClaw——面向过程的基准测试衡量 AI 代理在探索性数据分析中的过程质量

DataClaw 引入了一种新型基准测试，用于衡量 AI 代理在真实条件下进行探索性数据分析的能力。

EDA（探索性数据分析）是研究阶段的一个步骤，在正式建模之前，分析师或代理通过该阶段发现数据集的结构、异常和假设。

DataClaw 衡量什么不同的东西？

与只衡量最终答案是否正确的现有基准测试不同，DataClaw 评估整个过程：分析方法的选择、中间结果的解读、错误的识别以及工作过程中策略的调整。

作者（Zhang 等人）认为，任务级指标会”隐藏”那些以错误方式达到正确答案的代理的关键弱点。

程序正确性为何重要？

在程序正确性具有监管重要性的领域，通过错误步骤获得正确答案是个问题——例如在医学和金融领域，审计人员和监管机构需要透明且可解释的决策流程，而不仅仅是数字结果。

如果代理基于错误选择的统计方法得出正确结论，这样的结果在输入数据发生变化时容易受到影响，且难以向监管机构辩护。

基准测试包含什么内容？

DataClaw 包含来自多个领域的真实数据任务，并提供了一个对分析每个步骤进行细粒度评估的框架，为研究人员提供了按推理质量而非最终准确性比较代理的工具。

这项工作属于将 LLM 代理视为具有可检验程序的工作协作者——而非只有输入和输出的黑盒——的日益增长的研究群体。