vLLM：vime——将Megatron训练与vLLM推理融合为统一管道的全新RL框架

vLLM项目团队（快速LLM推理框架）于2026年6月9日发布了名为vime的语言模型后训练新框架。全名揭示了其目的：将Megatron分布式训练与vLLM推理集成为统一的强化学习（RL）管道。vime构建在slime训练栈之上，旨在弥合深度学习基础设施中两个惯常分开使用的部分——分布式训练和分布式推理——之间的差距。

架构：三个协调阶段

vime采用三个独立但紧密协调阶段的架构：

1. 训练（Megatron）： Megatron-LM管理大量GPU上的参数更新和模型权重同步。负责使模型实际改善的梯度步骤。

2. Rollout（vLLM + 路由器）： vLLM以其高吞吐量LLM推理著称，生成样本（rollouts）——模型作为响应或问题解决方案生成的token序列。路由器协调推理层与系统其余部分之间的流量分配。

3. 解耦数据缓冲区： 连接训练和rollout阶段的中间层，允许注入自定义逻辑（奖励过滤器、自定义消息格式），并弥合两个阶段之间的速度差异。

这一设计构建在slime训练栈之上，确保与已开发的针对Qwen3和GLM-4.5模型的GRPO（组相对策略优化）和PPO（近端策略优化）算法实现的兼容性。

vime比现有解决方案快多少？

在Qwen3-30B-A3B模型（MoE架构，混合专家）上的基准比较显示，NVIDIA GB200和H200硬件之间在完整RL管道中以每步平均时间（mean step time）衡量的显著差异：

• GB200： 每步约147秒
• H200： 每步约252秒
• 差异：GB200快1.72倍

重要的是，这些结果测量的是整个管道——结合Megatron训练和vLLM rollout——而不仅仅是孤立的推理或训练测量。这类整体基准测试对于规划在具体硬件上进行RL后训练的实践者而言是相关的。

R3路由回放：解决训练-推理分布漂移

RL后训练中的一个关键技术挑战是生成样本的rollout模型与在这些样本上训练的模型之间的分布漂移（distribution drift）。随着训练进行，模型发生变化，但rollout数据可能是由旧版本生成的——导致以同一token的对数概率差（logprob difference）衡量的差距。

vime引入了R3路由回放，专门解决MoE（混合专家）架构中的这一问题。A100 GPU上Qwen3-30B-A3B MoE的结果：

• 无R3回放：对数概率差约0.019
• 有R3回放：对数概率差约0.013

作为比较，A100上Qwen3-4B（密集模型）的对数概率差在整个训练过程中稳定在约0.011，而无漂移管理的基准比较则达到约0.77——这在实践中会严重损害RL过程的稳定性。

GB200上GLM-4.5-Air的结果

端到端管道的示例也展示在用GRPO算法在GB200硬件上训练的GLM-4.5-Air模型上。100个训练步骤中的关键指标：

• 平均原始奖励（raw reward mean）：约0.56
• 训练-rollout对数概率差：保持在0.02–0.03范围内（平均值约0.028）

分布差距的稳定性表明，vime成功地将训练和rollout模型保持在足够的一致性以实现可靠的RL学习，即使在带来与A100和H200不同吞吐量特性的最新GB200硬件上也是如此。

对研究社区的优势

vime从第一天起就被设计为简单、稳定和高效的框架——正如官方公告标题所述。具体而言：

• 支持GRPO和PPO算法，为Qwen3和GLM-4.5提供经过验证的端到端示例
• 在多种硬件上运行：A100、H200和GB200
• 由于R3回放机制，对MoE模型特别优化
• 构建在已被社区广泛采用的vLLM生态系统之上

对于希望实施RL后训练而无需从头编写基础设施代码的研究人员和工程师，vime提供了一个具有经过验证的具体硬件性能和清晰数字的参考架构，便于规划成本和容量。