arXiv:2606.04438：LoopMoE 将循环计算与 Mixture-of-Experts 结合

LoopMoE 是什么？

LoopMoE 是一种新的语言模型架构，于 2026 年 6 月 3 日发布在 arXiv 上、编号为 arXiv:2606.04438（v1 版本），它将迭代（looped）计算与 Mixture-of-Experts（MoE）方法结合。MoE 是一种架构，其中输入只被路由到一部分被称为专家的专门化子网络，从而在更低的每 token 计算成本下实现更大的容量。LoopMoE 为这种方法增加了一个迭代组件，把两个迄今为止各自独立发展的想法结合了起来。

循环计算带来了什么？

循环（即迭代）计算意味着模型多次通过相同的层，并在此过程中逐步完善其对输入的内部表示。模型不是只通过网络一次，而是 “循环” 并对信息进行额外处理，这使得更深的推理成为可能，而不需要按比例增加参数数量。通过把这一技术与 MoE 结合，LoopMoE 力图同时利用专家的专门化与迭代处理的深度。

LoopMoE 比 Vanilla MoE 好多少？

在 30 亿参数（3B）的模型上，LoopMoE 在 九个基准中的八个 上超越经典的 Vanilla MoE，平均提升一分。论文中的 Vanilla MoE 作为直接对照，即没有迭代组件的标准 MoE。在几乎所有受测基准上结果的一致性表明，这一优势并非偶然，而是源于架构本身，而非某个任务的特殊性。

优势在扩展时是否保持？

对任何新架构而言，关键问题都是它的优势能否在更大的模型上存续。论文表明，这些收益 在 90 亿参数（9B）的规模上得以延续，而不会随模型增大而消失。这是一个重要信号，因为许多在小模型上有帮助的技术在扩展时会失效。在 9B 参数上保持优势，意味着 LoopMoE 可能在更大的模型上同样有用。

为什么 looped 与 MoE 的结合很有意思？

将迭代计算与 Mixture-of-Experts 方法结合之所以有意思，是因为两种技术都以效率为目标，但方式不同。MoE 通过只激活模型的一部分来节省计算，而循环方法在不增加参数的情况下提升处理深度。LoopMoE 表明这两种策略可以以可测量的收益结合起来，为同时优化容量与推理深度的架构开辟了空间。

LoopMoE 对模型开发意味着什么？

尽管单个基准上的收益不大，平均一分，但其在各基准和各规模上的一致性赋予了它分量。对于构建高效模型的研究人员来说，LoopMoE 提供了一个具体的配方，告诉他们如何从相同数量的参数中榨取更多性能。在 3B 和 9B 参数上的结果表明，循环计算与 MoE 的结合值得在更大的模型和更多样的任务上进一步研究。