arXiv:2606.05555：表征学习实现可扩展的多任务 RL（MR.Q）

一篇发布于 arXiv（编号 2606.05555）、发表于 2026年6月4日 的科研论文提出，可扩展多任务强化学习（RL，强化学习）的主要驱动力正是表征学习，而非基于模型的控制。论文的核心是 MR.Q，一种在连续控制任务上以实证方式证实这一论点的无模型算法。

论文关于可扩展性来源有何主张？

RL 社区中部分人士的主流信念是，扩展到多个任务需要一个关于环境的显式模型——即所谓的 world-model——以支持规划。这篇论文提出了不同的论点：真正使可扩展多任务 RL 成为可能的是所学状态表征的质量，而非基于模型的控制机制。这里的表征是指对环境状态所学得的简洁描述，智能体据此做出决策。作者认为，只要这种描述足够好，对显式世界模型的需求就会下降。

MR.Q 是如何构建的？

MR.Q 是一种无模型算法，这意味着它不构建关于环境动态的显式模型。相反，它结合了两个组成部分。第一个是预测性表征——经过优化、能够携带对预测有用信息的状态学习表示。第二个是高容量价值函数，即一个对预期未来奖励的强力估计器。通过结合这两个要素，MR.Q 提取出了通常归因于世界模型的大部分收益，却没有它们的复杂性。

MR.Q 与 world-model 方法相比如何？

论文的关键结果是 MR.Q 超越了 world-model 方法，而且是在更低的计算开销下做到的。尤为有趣的是，这一优势即便在不进行规划——即在决策前利用环境模型模拟未来结果这一步骤——的情况下也能实现。由此，这篇论文直接质疑了”基于世界模型的规划必然在多任务设定中带来更优表现”这一假设。

为什么连续控制任务是一个好的测试？

这些结果是在连续控制任务上展示的——在这类问题中，智能体控制的是具有连续而非离散动作的系统，例如控制机器人的关节。这类任务历来是人们预期 world-model 与规划能带来优势的领域。正因如此，无模型的 MR.Q 在此超越了基于模型的方法才是一个有力的发现：它表明优势来自表征，而非来自对动态的建模。

这对未来的 RL 系统意味着什么？

其含义是将注意力与计算资源引向表征的质量，而非引向日益复杂的世界模型。如果通过学习良好的预测性表征并结合高容量价值函数，就能以更低的成本取得相当或更优的结果，那么这就为构建可扩展的多任务 RL 系统提供了一条更简单、更廉价的路径。MR.Q 因此既是一个具体的算法，也是一个主张重新定向研究焦点的论据。