YAN:Mixture-of-Experts フローマッチングが3サンプリングステップで自己回帰LMの40倍高速化を実現
YANはTransformerとMambaアーキテクチャをMixture-of-Expertsフローマッチングアプローチと組み合わせた新しい生成言語モデルです。わずか3サンプリングステップで自己回帰モデルに匹敵する品質を達成し、ARベースラインと比べて40倍、拡散型言語モデルと比べて最大1000倍の高速化を実現します。グローバルなトランスポート幾何学をローカル特化ベクトル場に分解します。