vLLM：標準化された重み同期 API が非同期 RL を加速

最も広く使われる大規模言語モデル推論のオープンソースサービスの一つである vLLM プロジェクトは、2026 年 5 月 28 日、強化学習（RL）のための標準化されたネイティブ API を発表しました。目的は、これまで RL パイプラインの開発を遅らせてきた断片化を取り除くことです。

ネイティブ RL API はどの問題を解決しますか？

強化学習——報酬と罰を通じてモデルが学習する訓練手法——では、モデルの重み（weights）が訓練フェーズと推論フェーズの間で絶えず転送される必要があります。vLLM は、これまで「訓練と推論の間の重み同期がその場限りに実装され、フレームワーク間で重複していた」と指摘します。各 RL ツールが同じ問題をそれぞれのやり方で解決していました。

この新機能は 4 つの操作フェーズを持つ標準化 API を導入します：初期化（init_weight_transfer_engine）、更新の開始（start_weight_update）、重みの転送（update_weights）、そして量子化などの後処理を伴う完了（finish_weight_update）です。

重みはどう転送され、バックエンドは何ですか？

vLLM は 2 つのトランスポート実装を提供します。NCCL は別個のデバイスをまたぐ GPU 間ブロードキャストに使われ、IPC は CUDA 共有メモリハンドルを介して同一デバイス上での転送を可能にします。両者とも、シリアライゼーションのオーバーヘッド——データを転送に適した形式へ変換するコスト——を最小化する最適化された packed 実装を使用します。

非同期 RL のために、第 3 の一時停止方式 keep mode も追加されました。これはスケジューラの状態を保ちつつアクティブなリクエストを一時停止し、中断や完了待ちなしに重みの更新を可能にします。

安定性の問題はどう防がれますか？

DPEP（Data Parallel + Expert Parallel）型の大規模分散デプロイにおいて、vLLM はデッドロックを防ぐ 2 段階の pause/resume プロトコルを導入します。第 1 段階ではエンジンがスケジューリングを一時停止しつつ START_DP_WAVE の調整メッセージを尊重し続け、第 2 段階ではグローバルな all-reduce の検証によってすべての rank が一緒に移行することを保証します。

これらの API は SkyRL で非同期 DAPO 訓練に用いて実証され、Prime-RL チームが 16 ノード・各ノード 8 基の H200 GPU の大規模で検証し、100 ステップを超えて安定した訓練を実現しました。これにより、現代の RL パイプラインの重要な構成要素が標準化されます。