vLLM：标准化的权重同步 API 加速异步 RL

vLLM 项目，最广泛使用的大语言模型推理开源服务之一，于 2026 年 5 月 28 日发布了用于强化学习（RL）的标准化原生 API。目标是消除迄今为止拖慢 RL 流水线开发的碎片化。

原生 RL API 解决什么问题？

在强化学习——一种模型通过奖励和惩罚学习的训练方法——中，模型权重（weights）必须在训练阶段和推理阶段之间不断传输。vLLM 指出，迄今为止「训练与推理之间的权重同步被临时实现并在各框架间重复造轮子」。每个 RL 工具都以自己的方式解决同一个问题。

这一新特性引入了包含四个操作阶段的标准化 API：初始化（init_weight_transfer_engine）、启动更新（start_weight_update）、传输权重（update_weights），以及包含量化等后处理的完成（finish_weight_update）。

权重如何传输，有哪些后端？

vLLM 提供两种传输实现。NCCL 用于跨独立设备的 GPU 到 GPU 广播，而 IPC 通过 CUDA 共享内存句柄实现同一设备上的传输。两者都使用优化的 packed 实现，以最小化序列化开销——即将数据转换为适合传输格式的成本。

针对异步 RL，还增加了第三种暂停方式 keep mode，它在保留调度器状态的同时暂停活动请求，使权重更新无需中断或等待完成即可进行。

如何防止稳定性问题？

在 DPEP（Data Parallel + Expert Parallel）类型的大型分布式部署中，vLLM 引入了一个两阶段的 pause/resume 协议以防止死锁。在第一阶段，引擎暂停调度，但继续遵守 START_DP_WAVE 协调消息；在第二阶段，全局 all-reduce 验证确保所有 rank 一起过渡。

这些 API 在 SkyRL 中用于异步 DAPO 训练进行了演示，并由 Prime-RL 团队在 16 个节点、每节点 8 块 H200 GPU 的大规模上验证，训练在超过 100 步内保持稳定。由此标准化了现代 RL 流水线的一个关键组件。