arXiv：OrchRM——无需人工标注的多智能体AI系统编排奖励模型

多智能体AI系统中的编排问题

如何协调多个AI代理共同解决复杂任务——以及如何学习哪些协调决策真正导向好的结果？这正是论文「Reward Modeling for Multi-Agent Orchestration」（OrchRM）所聚焦的核心问题。编排（orchestration）——决定哪个代理承接哪项任务、以何种顺序、携带何种上下文——此前要么需要昂贵的人工监督，要么需要重复运行整个代理子系统循环。

OrchRM提供了一种替代方案：自监督框架，从任务执行本身产生的数据中学习，无需任何额外的标注成本。

OrchRM的工作原理是什么？

关键创新在于学习的来源。OrchRM并不等待最终结果或寻求人工评估，而是从执行中间步骤（intermediate execution artifacts）——代理工作过程中产生的临时输出、中间结果和执行轨迹——构建胜负对（win/lose pairs）。

基于这些胜负对，训练一个Bradley-Terry奖励模型（Bradley-Terry reward model）——一种评估两种结果相对质量的统计框架。关键在于训练直接在编排层面进行，而非在各代理子系统层面。这样避免了成本最高的步骤：仅为收集训练数据而重新运行整个代理链。

评测结果

结果在三个不同应用领域保持一致——数学推理、基于网络的问答（web QA），以及需要整合多来源信息的多步骤任务（multi-hop reasoning）。

在所有三个领域，OrchRM均实现了：

• 训练中最高10倍的令牌使用效率提升
• 推理时间扩展多智能体系统时最高8%的准确率提升

令牌效率并非微不足道的指标——它直接影响系统开发和运行的成本。在使用少十倍令牌的情况下实现相当甚至更高的准确率，意味着OrchRM可在计算资源有限的环境中使用。

编排层面的重要性

此前改进多智能体系统的方法主要集中于提升单个代理——更好的模型、更精准的指令、更复杂的工具。OrchRM将注意力引向另一个维度：代理如何协调与每个代理单独的能力同等重要。

编排层面的奖励模型能够识别导向良好协调结果的模式——哪种任务委派顺序有效、何时有必要请求另一个代理验证、何时整合结果最为优化——而无需显式编码这些规则。

多智能体系统开发的可扩展方向

作者将OrchRM定位为构建鲁棒多智能体编排的可扩展方向。该方法的自监督特性意味着随着执行数据的积累，系统可以持续改进，而无需不断增加标注成本。

代码已在GitHub上公开（github.com/Wang-ML-Lab/OrchRM），使研究人员和实践者能够直接应用和扩展该方法。对于开发多智能体AI系统的社区而言，OrchRM提供了一种具体工具，可在不按比例增加开发成本的情况下提升协调智能。