arXiv: CODA-BENCH揭示顶尖智能体在代码与数据结合任务上仅达61.1%

中国人民大学的研究团队——张宇欣、樊菊、樊美好、张少磊和杜小勇——推出CODA-BENCH，这是首个同时评估AI智能体在数据环境中代码生成和数据检索能力的基准测试。该论文已被ICML 2026接收，解决了旨在成为自主工程师的智能体现有评估框架中的明显空白。

代码中心与数据中心测试之间的差距

现有的AI智能体基准测试通常选择两个维度之一：要么测试代码生成能力（智能体编写解决任务的程序），要么测试数据工作能力（智能体检索和分析数据集中的信息）。真实开发环境没有这种奢侈的区分。解决分析问题的工程师必须首先在复杂的文件结构中找到相关数据，理解模式，然后才能编写和迭代改进使用这些数据的代码。CODA-BENCH正是为了测试这种组合能力而设计的——结果揭示，这比任何孤立的基准测试所表明的都要难得多。

为什么整合这些能力特别困难？

这个问题非常复杂，原因相互叠加。首先，数据空间庞大且无结构：智能体必须主动探索文件层次结构并推断哪些数据与任务相关，而没有关于位置的明确指示。然后它必须推断数据模式——列类型、格式、编码——这在真实数据集中并不总是显而易见或一致的。最后，智能体基于对模式的错误假设编写的代码可能无法执行或产生错误结果，而智能体必须在有限反馈的环境中迭代调试。这三个步骤中的每一个都引入独立的错误来源，在组合任务中相乘而非相加。

真实沙箱：Kaggle、31个社区、980个文件

作者构建了一个基于包含数百个数据集的Kaggle生态系统的Linux沙箱。每个环境平均包含980个文件，模拟智能体在真实开发环境中遇到的真实规模和信息噪声。基准包含分布在31个任务社区中的1,009个任务，涵盖数据分析的多种领域。智能体必须主动探索文件结构以定位相关数据，然后编写和执行回答指定任务的分析代码。这种组合——大规模数据、相关资源位置不确定以及需要生成真正可运行的代码——使CODA-BENCH系统性地比以往独立测试这些维度的基准测试更具挑战性。

顶尖智能体仅达61.1%的成功率

在CODA-BENCH上对高级智能体的评估揭示了明显的局限性：即使是最高性能系统的成功率也仅为61.1%。这大大低于同一系统在孤立编码或数据工作基准测试上的表现，证实了两种能力的整合——而非其总和——才是根本挑战。对于需要同时找到数据和生成代码的任务，即使是最先进的智能体也在将近10次中有4次出错。作者强调，这一结果不是特定模型或架构的问题，而是反映了当前智能体整合检索和编码方式中的系统性缺口。

三类失败模式和未来研究

作者识别出主导错误案例的三类主要失败模式。第一类是文件发现：智能体无法在复杂层次结构中找到相关数据，尤其当相关资源位于意外位置或有非常规名称时。第二类是模式推断：智能体错误地推断数据结构——列类型、格式或编码——导致代码无法执行或产生不正确的结果。第三类是数据约束下的迭代调试：当环境反馈缓慢、部分或仅在长时间运行后才到达时，智能体无法有效测试和修正代码。

被ICML 2026（机器学习最具影响力的会议之一）接收，证实了学术界将这类基准空白认定为重要的研究贡献。CODA-BENCH及其识别的失败类别为未来系统设定了具体目标：希望在真实开发环境中有用的智能体必须学会探索文件结构、推断数据模式并在不确定条件下调试自己的代码——同时进行所有这些工作。