arXiv:2605.27358: MobileMoE将混合专家架构带入移动设备，推理FLOP减少2-4倍，速度最高比密集模型快3.8倍
来自Meta AI和高通的研究团队（Yanbei Chen、Hanxian Huang等）发布了MobileMoE——一个面向设备端的MoE语言模型系列，激活参数量为0.3-0.9B，总参数量为1.3-5.3B。该架构实现了2-4倍的推理FLOP缩减、最多60%的参数量减少，以及在移动硬件上1.8-3.8倍的预填充加速和2.2-3.4倍的解码加速。
本文由人工智能基于一手来源生成。
由Yanbei Chen、Hanxian Huang、Ernie Chang、Jacob Szwejbka、Digant Desai、Zechun Liu、Vikas Chandra和Raghuraman Krishnamoorthi组成的研究团队发布了MobileMoE——首项针对亚十亿参数规模混合专家（MoE）架构的系统性研究，专门针对移动设备进行优化。
为什么MoE架构此前无法在移动设备上实现？
混合专家（MoE）是一种架构方案，在每一层中只激活专门化「专家」网络（expert networks）的子集，而非整个网络。这种选择性激活带来了巨大的计算节省，但现有MoE模型大多为拥有充裕内存和强大GPU的数据中心而设计。
移动设备在内存和计算能力上有严格限制。本研究填补了这一空白，在亚十亿参数规模（0.3-0.9B激活参数，1.3-5.3B总参数）上探索MoE架构，并在移动硬件上进行了真实推理速度分析——而非仅依赖理论FLOP估算。
MobileMoE模型的具体成果如何？
MobileMoE系列与同等规模密集（dense）基线模型相比，在多项指标上取得了令人印象深刻的成绩：
推理效率：MobileMoE模型实现了2-4倍的推理FLOP缩减，同时保持性能水平。在移动硬件上，MobileMoE-S模型实现了1.8-3.8倍的预填充加速和2.2-3.4倍的解码加速。
参数效率：MobileMoE在与最先进MoE替代方案保持可比结果的同时，总参数量最多减少60%。
移动设备MoE模型的最优设计是什么？
研究的关键贡献是推导出设备端扩展规律（on-device scaling law），识别出移动部署的最优架构模式：采用适度稀疏度并结合细粒度和共享专家。这一设计同时平衡了移动设备的内存与计算约束。
MobileMoE模型训练经历四个阶段：预训练、中期训练、指令微调以及使用开源数据集的量化感知训练（quantization-aware training）。这一完整流程确保模型不仅针对精度进行优化，同时也针对量化移动硬件上的高效执行进行了优化。
研究结果为私有化、离线AI助手直接在智能手机上执行复杂语言任务开辟了前景，无需将数据发送至云端。
常见问题
- 什么是MobileMoE，它与现有MoE模型有何不同？
- MobileMoE是专为移动设备设计的混合专家语言模型系列，激活参数量低于十亿（0.3-0.9B激活，1.3-5.3B总参数）。与面向数据中心设计的现有MoE模型不同，MobileMoE在亚十亿参数规模上探索MoE架构，并在移动硬件上进行了真实推理速度性能分析。
- MobileMoE模型在移动设备上比密集基线模型快多少？
- MobileMoE-S模型实现了1.8-3.8倍的预填充加速和2.2-3.4倍的解码加速。此外，MobileMoE模型的推理FLOP减少了2-4倍。
- 针对移动设备MoE模型最优设计的关键结论是什么？
- 研究人员推导出设备端扩展规律，识别出最优模式：采用适度稀疏度（moderate sparsity）并结合细粒度和共享专家（fine-grained and shared experts），以平衡移动设备的内存与计算约束。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。