Curation-Bench：智能体能否自行整理训练数据？

新基准 Curation-Bench 检验编程智能体能否自动化训练数据的整理。智能体在十次迭代内就能达到强基线，但要探索多样化的策略，它们需要一种结构化的脚手架，迫使其对现有方法加以改造。

大型模型的质量在很大程度上取决于训练数据的质量。但挑选合适的数据——整理——是一项费力且需反复迭代的工作。由 Feiyang Kang 和 Ruoxi Jia 等人组成的团队提出了一个问题：这项工作能否交由 AI 智能体来完成？

Curation-Bench 衡量什么？

作者推出了 Curation-Bench，这是一个旨在检验编程智能体能否自主完成整个数据整理流程的基准。整理意味着选择、过滤并准备训练样本，以使最终数据集尽可能信息丰富。该基准让智能体扮演研究者的角色，必须通过连续尝试来设计并改进数据选择策略。

结果喜忧参半。开箱即用 的智能体在 十次迭代 内就达到了已发表的强基线，这表明它们能够执行基本的整理循环。问题出在探索上：智能体大多只是对现有方法加以改进，而非尝试根本不同的策略。换言之，它们懂得优化，却不懂大胆探索解空间。

关键的转变来自 脚手架——一种结构化的引导，要求智能体在每次迭代中引用、实例化并改造某种先前的方法。在这样的指引下，智能体自主组建出一种数据选择策略，其表现超越了已发表的强基线，且仅用了它们十分之一的数据预算。作者的结论是：可靠的数据探索需要有引导地改造方法，而非仅靠开放式提示。

常见问题

什么是数据整理？

这是选择、过滤并准备用于训练模型的数据的过程，以使数据集尽可能高质量且信息丰富。

智能体中的脚手架是什么？

一种结构化的引导，要求智能体在每次迭代中引用、实例化并改造某种先前的方法，而非开放式的提示。