vLLM：vime — MegatronトレーニングとvLLM推論を統合した新しいRLフレームワーク
vimeはMegatron分散トレーニングとvLLM推論を統合したパイプラインでLLMのポストトレーニング向けの新しいRLフレームワークだ。GB200ハードウェアでQwen3-30B-A3B MoEモデルは1ステップあたり約147秒を達成——H200より1.72倍速い。R3ルーティングリプレイがログ確率の差異を0.019から0.013に削減する。
この記事はAIにより一次情報源から生成されました。
vLLM（高速LLM推論フレームワーク）チームが2026年6月9日、vimeという名のLLMポストトレーニング向け新フレームワークを発表した。正式名称がその目的を明かす：Megatron分散トレーニングとvLLM推論を強化学習（reinforcement learning, RL）のための統合パイプラインに融合させる。vimeはslimeトレーニングスタックの上に構築され、深層学習インフラの2つの定着した要素——分散トレーニングと分散推論——の間のギャップを橋渡しするために設計されている。これらは従来ほぼ別々に使用されてきた。
アーキテクチャ：3つの協調したステージ
vimeは3つの分離しながら緊密に協調したステージのアーキテクチャを使用する：
1. トレーニング（Megatron）： Megatron-LMがパラメータ更新と多数のGPU間でのモデルの重みの同期を管理する。モデルをより良くする実際の勾配ステップを担当する。
2. ロールアウト（vLLM + ルーター）： 高スループットLLM推論で知られるvLLMがロールアウト——モデルが与えられた問題への回答や解として生成するトークン列——を生成する。ルーターが推論レイヤーとシステムの残りの部分間のトラフィック配分を調整する。
3. デカップルされたデータバッファ： トレーニングとロールアウトフェーズをつなぐ中間レイヤーで、カスタムロジック（報酬フィルター・カスタムメッセージフォーマット）の注入と両ステージ間の速度差の橋渡しを可能にする。
この設計はslimeトレーニングスタックの上に構築され、Qwen3とGLM-4.5モデル向けのGRPO（Group Relative Policy Optimization）およびPPO（Proximal Policy Optimization）アルゴリズムの既存の実装との互換性を保証する。
vimeはこれまでのソリューションよりどれだけ速いか？
Qwen3-30B-A3B（MoEアーキテクチャ、mixture-of-experts）モデルでのベンチマーク比較が、完全なRLパイプラインでのステップあたりの平均時間で測定したNVIDIA GB200とH200ハードウェアの顕著な違いを示す：
- GB200： ~1ステップあたり147秒
- H200： ~1ステップあたり252秒
- 差異：GB200は1.72倍速いエンドツーエンド
これらの結果はパイプライン全体を測定していることに注意する——MegatronトレーニングとvLLMロールアウトを組み合わせて——推論のみまたはトレーニングのみの孤立した測定ではない。このような総合的なベンチマークは、具体的なハードウェアでのRLポストトレーニングを計画する実践者にとって関連性がある。
R3ルーティングリプレイ：トレーニング・推論分布ドリフトの解決
RLポストトレーニングにおける重要な技術的課題の1つが、サンプルを生成するロールアウトモデルとそれらのサンプルでトレーニングされるモデル間の分布ドリフト（distribution drift）だ。トレーニングが進むにつれてモデルは変化するが、ロールアウトデータは以前のバージョンで生成された可能性がある——これは同じトークンのログ確率の差として測定される不一致をもたらす。
vimeはR3ルーティングリプレイを導入し、MoE（Mixture-of-Experts）アーキテクチャでこの問題に特化して対処する。A100 GPUでのQwen3-30B-A3B MoEの結果：
- R3リプレイなし：ログ確率の差異 ~0.019
- R3リプレイあり：ログ確率の差異 ~0.013
比較のために、A100でのQwen3-4B（密なモデル）では、ログ確率の差異はトレーニングを通じて ~0.011で安定したままで、一方ドリフト管理なしのベースライン比較は ~0.77に達する——これは実際にはRLプロセスの安定性を深刻に損なうだろう。
GB200でのGLM-4.5-Airの結果
エンドツーエンドパイプラインの例はGB200ハードウェアでGRPOアルゴリズムを使用してトレーニングされたGLM-4.5-Airモデルでも示される。100トレーニングステップにわたる主要指標：
- 平均生報酬（raw reward mean）：~0.56
- トレーニング・ロールアウトのログ確率差異：0.02〜0.03の範囲で安定（平均値 ~0.028）
分布ドリフトの安定性は、vimeがGB200の最新ハードウェアでも——A100やH200とは異なるスループット特性を持つ——信頼できるRL学習のためにトレーニングとロールアウトモデルを十分な整合性に保つことを示している。
研究コミュニティへのメリット
vimeは初日からシンプル・安定・効率的なフレームワークとして設計されている——公式発表のタイトルにある通りだ。具体的には：
- Qwen3とGLM-4.5の検証済みエンドツーエンド例でGRPOとPPOアルゴリズムをサポート
- 複数種類のハードウェアで動作：A100・H200・GB200
- R3リプレイメカニズムによりMoEモデルに特化して最適化
- コミュニティですでに広く採用されているvLLMエコシステム上に構築
インフラコードをゼロから書かずにRLポストトレーニングを実装したい研究者とエンジニアにとって、vimeは具体的なハードウェアでの実証されたパフォーマンスとコストとキャパシティの計画を容易にする明確な数値を持つ参照アーキテクチャを提供する。
よくある質問
- vimeとは何ですか？既存のLLM向けRLフレームワークとどう違いますか？
- vimeはslimeトレーニングスタック上に構築されたRLパイプラインにMegatron分散トレーニングとvLLM推論を統合します。トレーニングと推論を分離したソリューションとは異なり、vimeはデカップルされたデータバッファを持つ3つの分離したステージを通じてそれらを調整し、より安定した高速なトレーニングをもたらします。
- R3ルーティングリプレイとは何ですか？なぜMoEモデルにとって重要ですか？
- R3ルーティングリプレイはロールアウトモデルとトレーニングモデル間の分布ドリフトに対処するメカニズムで、MoEアーキテクチャでは特に顕著です。A100 GPUでのQwen3-30B-A3B MoEの場合、ログ確率の差異を約0.019から約0.013に削減し、RLトレーニングを安定させます。
📬 AIニュースをあなたの受信箱へ
毎日のダイジェストを自分仕様に——トピック、ソース、頻度を選べます。ワンクリックで解除。