🟡 🤖 模型 发布于: · 2 分钟阅读 ·

arXiv:2607.11598: 交互作为测试时计算的「第三轴」,可消除最多74%的错误

arXiv:2607.11598 ↗

测试时计算三轴示意图:较长思考链、best-of-N采样和与工具的交互

测试时计算是模型在推理过程中为获得更好答案而消耗的额外计算。Bojie Li和Noah Shi将与外部工具的交互定义为测试时计算的第三轴——与较长的思考链和best-of-N采样并列。提议者-审核者系统实现100% pass rate,而单纯的思考链和best-of-N则触及瓶颈。

🤖

本文由人工智能基于一手来源生成。

测试时计算及其为何需要第三轴

测试时计算是指模型在推理过程中消耗的额外计算——模型不是给出一次性答案,而是思考更长时间、生成多个候选答案,或与外部系统通信以提高准确性。此前,研究人员区分了两个标准轴:延长思考(思维链,逐步推理)和best-of-N采样(生成N个答案后选择最优)。arXiv:2607.11598的作者Bojie Li和Noah Shi认为这两个轴都会触及瓶颈——并提出了第三轴。

什么是交互轴,为何不触及瓶颈?

交互是第三轴:模型与外部工具通信(例如编译器、代码执行器、搜索引擎),并根据反馈迭代优化输出。与单纯思考和best-of-N不同,交互不会触及瓶颈,因为每条工具反馈都带来模型无法自行生成的新信号。对比十分清晰:较长的思考和采样都在模型内部循环,而交互引入了外部现实检验

提议者-审核者系统与度量工具

具体实现是提议者-审核者系统:一个代理提出解决方案,另一个通过与工具交互对其进行批判。结果:在测试任务集上实现100% pass rate——这是延长思考和best-of-N都无法达到的。

作者还引入了一个标准化度量工具,通过四种模态(文本、视觉、代码、数学)评估质量。该工具可消除40%至74%的缺陷,具体取决于模态。与无工具VLM的对比颇具说明力:没有交互轴的视觉语言模型会将15个故意损坏的图形中的14个评为完美——即几乎遗漏每一个缺陷。

对模型开发的启示

本文表明,仅通过延长思考或更多采样来扩展测试时计算存在自然上限。与工具——编译器、测试、搜索引擎——的交互代表了打破该上限的路径。对从业者而言,这意味着带有反馈循环的代理系统架构不仅仅是工程技巧,而是规模化的基础机制

常见问题

什么是测试时计算?
测试时计算是模型在推理过程中消耗的额外计算——模型不是立即给出一个答案,而是思考更长时间、采样多个答案或与工具通信,以提高准确性。
所提出的度量工具能消除多少错误?
该度量工具在四种评估模态中可消除40%至74%的缺陷,而没有工具的VLM会将15个故意损坏的图形中的14个评为完美。

📬 AI 新闻直达您的邮箱

按您的方式定制每日摘要——自选主题、来源和频率,一键退订。