arXiv:2605.27358: MobileMoEはMixture-of-Experts アーキテクチャをモバイルに提供——密なモデルと比べてFLOPが2〜4分の1、実行速度は最大3.8倍

Yanbei Chen、Hanxian Huang、Ernie Chang、Jacob Szwejbka、Digant Desai、Zechun Liu、Vikas Chandra、Raghuraman Krishnamoorthiで構成される研究チームが、MobileMoEを発表した——モバイルデバイス向けに特別に最適化された、10億パラメータ以下のレベルでのMixture-of-Experts（MoE）アーキテクチャに関する初の体系的な調査。

なぜMoEアーキテクチャはこれまでモバイルデバイスで利用できなかったのか？

Mixture-of-Experts（MoE）は、各層でネットワーク全体ではなく専門化された「エキスパート」（専門ネットワーク）のサブセットのみをアクティブにするアーキテクチャアプローチだ。この選択的なアクティベーションにより大きな計算上の節約が得られるが、これまでのMoEモデルは主に豊富なメモリと強力なGPUを持つデータセンター向けに設計されていた。

モバイルデバイスにはメモリと計算能力の厳しい制限がある。本研究は、サブ10億パラメータスケール（0.3〜0.9Bのアクティブパラメータ、1.3〜5.3B総計）でのMoEを、FLOPの理論的推定のみに頼らず、モバイルハードウェアでの実際の推論速度プロファイリングとともに探求することで、このギャップを埋めている。

MobileMoEモデルの具体的な結果は何か？

MobileMoEファミリーは同サイズの密な（dense）ベースラインモデルと比べて印象的な指標を達成する。

推論効率： MobileMoEモデルは推論FLOPが2〜4倍少なく、パフォーマンスを維持する。モバイルハードウェアでは、MobileMoE-Sモデルがプリフィルで1.8〜3.8倍速く、デコードで2.2〜3.4倍速い。

パラメータ効率： MobileMoEは、総パラメータが最大60%少ない最先端のMoE代替モデルと同等の結果を達成する。

モバイルデバイス向けの最適なMoEデザインは何か？

研究の重要な貢献は、モバイル実装のための最適なアーキテクチャパターンを特定するオンデバイスのスケーリング則の導出である：適度なスパース性（moderate sparsity）とfine-grainedな共有エキスパート（shared experts）。このデザインはモバイルデバイスのメモリと計算の制約を同時にバランスさせる。

MobileMoEモデルのトレーニングは4つのフェーズを経る：事前学習、中間学習、instruction fine-tuning、そしてオープンソースデータセットを使用した量子化を考慮した学習（quantization-aware training）。この包括的なパイプラインにより、モデルは精度だけでなく、量子化されたモバイルハードウェアでの効率的な実行のために最適化される。

この結果は、クラウドにデータを送信することなく、スマートフォン上で直接要求の高い言語タスクを実行するプライベートでオフラインのAIアシスタントの展望を開く。