DiffusionGemmaがvLLMに統合：260億パラメーターの離散拡散モデルが本番環境へ

vLLMプロジェクト、Google DeepMind、NVIDIAの各チームは本日、DiffusionGemmaのvLLMへの統合を発表した。これにより本番推論フレームワークが初めてネイティブサポートの離散拡散言語モデル（dLLM: discrete diffusion language model）を得た。モデルは260億パラメーターを持ち、Gemma4アーキテクチャ上に構築されている。

なぜ拡散型テキスト生成は異なるのか？

従来の大規模言語モデル（LLM）は自己回帰的にテキストを生成する——左から右へ、1トークンずつだ。DiffusionGemmaはまったく異なる動作をする。256トークンのノイズで満たされたキャンバスから始まり、コヒーレントなテキストになるまで複数ステップで反復的に精製する。このアプローチは自己回帰型では構造的に不可能な可能性を切り開く——たとえば、ノイズ除去の後半ステップで回答の初期部分を修正することなどだ。

アーキテクチャはデュアルモードで設計されている。エンコーダーモードでは、入力プロンプトの処理に因果的（一方向）アテンションを使用する——従来のトランスフォーマーと同一だ。反復的なノイズ除去に使用されるデコーダーモードでは、スライディングウィンドウ（±Wトークン）の双方向アテンションに切り替わり、キャンバス上の各トークンが両方向を見て全体を調整できるようになっている。

トークンの確定メカニズム

DiffusionGemmaはエントロピーベースのサンプリング（entropy-based sampling）を使用する。各ノイズ除去ステップでモデルは各トークンの確信度を計算し、累積エントロピーが事前に定めたしきい値を超えるまで、最も確信度の高いものから順に受け入れる。これにより最も確実なトークンが早い段階で「固定」され、不確実なトークンはより多くの反復アテンションを受ける。

反復間にはモデルが自己条件付けシグナルも受け取る。前のステップの完全なソフトマックス分布が確率加重埋め込み平均（probability-weighted embedding average）に変換され、追加入力としてモデルに渡される。これにより収束が安定し、後半ステップでの振動が抑制される。

vLLMインフラへの統合

完全に新しいコードを書く代わりに、チームはvLLM内の既存の投機的デコーディングインフラ（speculative decoding）を適応させた。主な新要素は2つだ。

• ModelState抽象化 — 非自己回帰アーキテクチャのモデル状態を汎化。具体実装DiffusionGemmaModelStateがリクエストごとの拡散ループ状態を追跡する。
• DiffusionSampler — プリフィル（入力読み込み）、ノイズ除去（反復精製）、コミット（トークン確定）の3フェーズを区別するサンプリングハンドラー。

シーケンスごとの動的因果アテンション対応により混合バッチが可能になり、同一バッチ内でエンコーダーモードとデコーダーモードのリクエストが競合なく共存できる。

計測パフォーマンス

FP8量子化版DiffusionGemmaはバッチサイズ1においてNVIDIA H200 GPU上で毎秒1,288トークンを達成しており、これは自己回帰型比較モデルよりおよそ6倍速い。H100では毎秒1,008トークン——自己回帰比で約5倍速く、一部の比較モデル変種の2.6倍だ。

利用可能な量子化チェックポイントは2種類。

• 動的アクティベーション付きFP8
• 重みとアクティベーション両方を量子化したNVFP4

いずれもRedHatAI Hubで公開されており、vLLM内で即座に利用可能だ。

エコシステムへの意味

DiffusionGemmaの統合は、vLLMが従来の自己回帰モデルに限定されないことを示している。投機的デコーディングインフラの汎化により、プロジェクトは独立した推論スタックを書くことなく将来の拡散モデルへの扉を開く。本プロジェクトにはGoogle DeepMind、vLLMチーム、NVIDIAから11名のコントリビューターが参加しており、このモデルクラスへの長期的な真剣な取り組みを示している。