arXiv: TruDi——用于大规模并行在线策略强化学习的扩散策略

扩散策略在并行训练中遭遇瓶颈

基于大规模GPU并行化的强化学习已成为训练机器人和虚拟角色控制智能体的主流范式。然而，当高斯策略在这种环境中稳定运行时，扩散模型——在规划和复杂动作生成中表现出卓越成果——却在这一障碍上屡屡失败。原因很明确：在在线策略环境中，训练数据分布在更新步骤之间快速变化。扩散模型的采样过程经历许多去噪步骤，对这种分布偏移特别敏感，容易变得不稳定。

TruDi是什么，它如何解决这个问题？

研究团队——Huy Le、Onur Celik、Denis Blessing及合作者——提出了TruDi（Trust-Region Diffusion Policies，信任域扩散策略）：首个成功使扩散策略能够在大规模并行在线策略强化学习环境中训练的方法。该工作的核心贡献是应用带KL散度约束的信任域优化，与早期方法不同，该约束应用于整个扩散轨迹，而非仅应用于最终采样结果。这一选择并非偶然：由于扩散过程的中间步骤相互依赖，仅约束最终样本不足以防止沿轨迹的分布偏移。TruDi通过在过程的每一步显式跟踪和约束散度来解决这个问题，即使在激进的并行更新下也保持训练稳定。

在4个基准测试的73个任务上评估

为了验证方法的泛化能力，作者在分布于4个大规模并行强化学习基准测试的73个任务上评估了TruDi。结果表明，TruDi在标准任务上一致优于或与强基线持平。

该方法在更具挑战性的类别上显示出最明显的优势：类人机器人控制。类人控制传统上是一个特别的挑战，因为它需要在长规划视野内协调大量自由度——正是扩散策略的表达能力能够发挥作用的环境，但前提是训练稳定。TruDi提供了这种稳定性。

扩散策略作为新的强力基线

TruDi的实际贡献超越了基准测试的胜者：该论文确立了扩散策略作为大规模并行在线策略强化学习的新的合法基线——这一模式迄今几乎是高斯策略的专属领域。

高斯策略具有可预测且分析上可处理的行为，使其成为训练稳定性优先时的自然选择。但它们的表达能力受到所假设分布形状的限制。扩散模型不施加此类限制，能够对动作上的复杂多模态分布进行建模——这对于类人步态或精细操作等任务尤为宝贵，这类任务可能有多个「正确」解。

TruDi首次使这种表达能力在不牺牲稳定性的情况下变得可用。这开启了未来大规模并行强化学习研究以扩散策略作为标准组件而非奇异替代方案进行的可能性。

方法论精确性是成功的关键

值得强调的是，应用信任域约束的层次为何重要。在经典信任域算法中，约束应用于整体策略，将其视为黑盒。当策略是高斯的时，这很简单——分布有闭合形式。对于扩散策略，动作分布作为没有闭合形式的多步过程的产物产生，因此估计或约束散度要困难得多。

TruDi通过将约束扩展到扩散过程轨迹层次来解决这个问题：KL散度在每个去噪步骤中被测量和执行，确保策略更新在中间过程层次以及可见动作层次都保持在安全的信任域内。这种区别决定了一个有效方法和一个陷入不稳定的方法之间的差异。

对机器人技术和控制的意义

大规模并行在线策略强化学习目前是物理机器人策略训练的主要方法之一，特别是在GPU上同时运行数千个模拟实例的仿真环境中。将扩散策略集成到该生态系统中——这正是TruDi所实现的——有可能为既快速训练又在动作建模上高度表达的策略开辟道路。

该论文于2026年6月13日提交，正值机器人领域积极寻求如何在训练循环中利用生成模型的时期。TruDi为迄今未有令人满意解答的问题提供了一个具体的、经过评估的答案。