DiffusionGemma集成vLLM：首个260亿参数离散扩散模型进入生产环境

vLLM项目、Google DeepMind和NVIDIA团队今日宣布将DiffusionGemma集成至vLLM——这使该生产推理框架获得了首个原生支持的离散扩散语言模型（dLLM，discrete diffusion language model）。该模型拥有260亿参数，基于Gemma4架构构建。

为什么扩散式文本生成与众不同？

传统大语言模型（LLM）以自回归方式生成文本——从左到右逐token生成。DiffusionGemma则完全不同：它从充满噪声的256个token画布出发，经过多步迭代逐步精炼，直到生成连贯文本。这种方式开启了自回归结构上无法实现的可能性，例如在后续去噪步骤中对早期部分进行修订。

该架构采用双模态设计。在编码器模式下，模型使用因果（单向）注意力处理输入提示——与经典Transformer相同。在用于迭代去噪的解码器模式下，模型切换至带滑动窗口（±W个token）的双向注意力，使画布上的每个token都能同时关注两个方向，协调整体内容。

确定已完成token的决策机制

DiffusionGemma采用基于熵的采样（entropy-based sampling）。在每个去噪步骤中，模型计算每个token的置信度，并按照从最高置信度到最低置信度的顺序接受token——直到累积熵超过预设阈值。这样，最可靠的token会在早期被”冻结”，而不确定的token则获得更多迭代关注。

在迭代之间，模型还接收自调节（self-conditioning）信号：上一步的完整softmax分布被转换为加权平均嵌入向量（probability-weighted embedding average），作为额外输入传递给模型。这有助于稳定收敛，减少后续步骤的波动。

集成至vLLM基础设施

团队没有从头编写全新代码，而是对vLLM内现有的推测解码（speculative decoding）基础设施进行了改造。两项关键创新如下：

• ModelState抽象——将模型状态泛化，适配非自回归架构；具体实现DiffusionGemmaModelState按请求追踪扩散循环状态。
• DiffusionSampler——处理三个阶段的采样控制器：预填充（prefill）、去噪（denoise）和提交（commit）。

对序列级动态因果注意力的支持实现了混合批处理——同一批次中可以同时包含编码器模式和解码器模式的请求，互不冲突。

实测性能

FP8量化版DiffusionGemma在批大小为1时，在NVIDIA H200 GPU上实现每秒1,288个token，约为自回归对比模型的六倍。在H100上测得每秒1,008个token——约为自回归的五倍，部分对比模型变体的2.6倍。

提供两种量化检查点：

• FP8，带动态激活量化
• NVFP4，权重和激活均量化

两者均已在RedHatAI Hub上发布，可立即在vLLM内使用。

对生态系统的意义

DiffusionGemma的集成表明vLLM并不局限于经典的自回归模型。通过对推测解码基础设施的泛化，该项目为未来的扩散模型打开了大门，无需为每类模型单独构建推理栈。本项目共有来自Google DeepMind、vLLM团队和NVIDIA的11位贡献者——这预示着对这类模型的长期认真支持。