vLLM: 표준화된 가중치 동기화 API로 비동기 RL을 가속하다

가장 널리 쓰이는 대규모 언어 모델 추론용 오픈소스 서비스 중 하나인 vLLM 프로젝트는 2026년 5월 28일 강화학습(RL)을 위한 표준화된 네이티브 API를 발표했다. 목표는 지금까지 RL 파이프라인 개발을 늦춰온 파편화를 제거하는 것이다.

네이티브 RL API는 어떤 문제를 해결하나?

강화학습 — 모델이 보상과 벌을 통해 학습하는 훈련 방법 — 에서 모델의 가중치(weights)는 훈련 단계와 추론 단계 사이에서 끊임없이 전송되어야 한다. vLLM은 지금까지 “훈련과 추론 사이의 가중치 동기화가 임시방편으로 구현되고 프레임워크에 걸쳐 중복되어” 왔다고 지적한다. 각 RL 도구가 같은 문제를 각자의 방식으로 해결해 온 것이다.

이번 새 기능은 네 가지 운영 단계를 갖춘 표준화된 API를 도입한다: 초기화(init_weight_transfer_engine), 업데이트 시작(start_weight_update), 가중치 전송(update_weights), 그리고 양자화 같은 후처리와 함께 완료(finish_weight_update).

가중치는 어떻게 전송되며 백엔드는 무엇인가?

vLLM은 두 가지 전송 구현을 제공한다. NCCL은 별도 기기 간 GPU-to-GPU 브로드캐스트에 쓰이며, IPC는 CUDA 공유 메모리 핸들을 통한 동일 기기 내 전송을 가능하게 한다. 둘 다 직렬화 오버헤드 — 데이터를 전송에 적합한 형식으로 변환하는 비용 — 를 최소화하기 위해 최적화된 packed 구현을 사용한다.

비동기 RL을 위해 세 번째 일시 정지 방식인 keep mode도 추가되었는데, 이는 스케줄러 상태를 보존하면서 활성 요청을 일시 정지하여, 중단하거나 완료를 기다리지 않고 가중치를 업데이트할 수 있게 한다.

안정성 문제는 어떻게 방지되나?

DPEP(Data Parallel + Expert Parallel) 유형의 대규모 분산 배포에서 vLLM은 데드락을 방지하는 2단계 pause/resume 프로토콜을 도입한다. 첫 번째 단계에서 엔진들은 스케줄링을 일시 정지하지만 START_DP_WAVE 조정 메시지는 계속 준수한다. 두 번째 단계에서는 전역 all-reduce 검증이 모든 랭크가 함께 전환되도록 보장한다.

이 API는 비동기 DAPO 훈련을 위해 SkyRL에서 시연되었으며, Prime-RL 팀이 8개 H200 GPU를 갖춘 16개 노드의 대규모에서 100단계 이상에 걸친 안정적 훈련으로 검증했다. 이로써 현대 RL 파이프라인의 핵심 구성 요소가 표준화된다.