YAN：Mixture-of-Experts フローマッチングが3サンプリングステップで自己回帰LMの40倍高速化を実現

YANとは何ですか？

YANは「MoEフローマッチングによる言語モデル推論の高速化に向けて」という論文で発表された新しい言語モデルで、2つのアーキテクチャを組み合わせています：Transformer（標準的なアテンションベース）とMamba（線形スケーリングの状態空間モデル）。このハイブリッドはMixture-of-Experts（MoE）フローマッチングフレームワークを駆動します——トークンごとに自己回帰的に生成するのではなく、ノイズを意味のあるテキストに並列変換するトランスポートベクトル場を学習する生成モデリングアプローチです。

核心的なイノベーションは分解にあります：単一のグローバルフロー場の代わりに、YANはMoEメカニズムを通じて複数のローカル特化ベクトル場を学習します。各エキスパートは潜在空間のより狭い幾何学的領域をカバーし、これにより標準的なフローマッチングモデルが言語において直面する異方性（方向依存性）とマルチモーダル分布の問題を解決します。

実際の節約効果はどれほどですか？

数値は劇的です：

• 同規模の自己回帰（AR）ベースラインと比べて40倍高速化
• 拡散型言語モデルと比べて最大1000倍高速化
• 拡散型LMの数百ステップではなく、わずか3サンプリングステップ
• 著者の評価によれば、ARモデルと同等の品質

参考として、標準的な自己回帰LLMはモデル全体を1回フォワードパスするごとに1トークンを生成します。YANは3つの並列ステップで完全なシーケンスを生成します——理論的には、レイテンシが線形増加することなくバッチサイズを大幅に拡大できることを意味します。

なぜこれが重要なのでしょうか？

自己回帰パラダイムは過去7年間、言語モデリングを支配してきました——推論は遅いものの、利用可能なGPUクラスタでの訓練が最も容易なためです。拡散型LM（MercuryやLLaDAなど）は並列性を約束しますが、数百のサンプリングステップが依然として実用性を妨げています。

YANのアプローチ——ローカル特化MoEエキスパートを持つフローマッチング——は、拡散の速度を保ちながらステップ数を削減する第三の道になるかもしれません。より大きなスケールで結果が再現されれば、推論レイテンシが秒ではなくミリ秒で計算されるモデルの世代への扉が開かれます。

何が証明される必要がありますか？

著者のAihua LiはarXivにプレプリントとして論文を発表しており、査読付き掲載は明示されていません。主な未解決事項：

• スケーリング： 小規模モデル（数十億パラメータ以下）のデモンストレーションか、70B+モデルでも結果はロバストか？
• タスクの複雑さ： 短いシーケンス生成だけでなく、複雑な推論や長いコンテキストのタスクでもYANはARモデルの品質を達成できるか？
• オープンソースコード： 著者が実装を公開すれば、これらの問いのかなりの部分はすぐに明らかになるでしょう。

現時点では、YANは自己回帰パラダイムに本格的な競合相手が現れつつあることを示す理論的に興味深いシグナルです。