vLLM: vime — Megatron 훈련과 vLLM 추론을 단일 파이프라인으로 통합한 새로운 RL 프레임워크
vime는 Megatron 분산 훈련과 vLLM 추론을 단일 파이프라인으로 통합하는 언어 모델 사후 훈련을 위한 새로운 RL 프레임워크입니다. GB200 하드웨어에서 Qwen3-30B-A3B MoE 모델이 단계당 약 147초를 달성해 H200보다 1.72배 빠릅니다. R3 라우팅 리플레이가 로그 확률 차이를 0.019에서 0.013으로 줄입니다.
이 기사는 AI가 1차 출처를 기반으로 생성했습니다.
vLLM(빠른 LLM 추론 프레임워크) 팀이 2026년 6월 9일 vime라는 언어 모델 사후 훈련을 위한 새로운 프레임워크를 발표했습니다. 전체 이름이 목적을 드러냅니다. Megatron 분산 훈련과 vLLM 추론을 강화학습(RL)을 위한 단일 파이프라인으로 통합하는 것입니다. vime는 slime 훈련 스택 위에 구축되었으며, 딥러닝 인프라의 두 가지 일반적인 구성 요소인 분산 훈련과 분산 추론 사이의 간극을 메우도록 설계되었습니다. 이 두 구성 요소는 지금까지 주로 별도로 사용되었습니다.
아키텍처: 세 가지 조율된 단계
vime는 세 개의 별도이지만 긴밀하게 조율된 단계로 이루어진 아키텍처를 사용합니다.
1. 훈련 (Megatron): Megatron-LM이 대규모 GPU에서 파라미터 업데이트와 모델 가중치 동기화를 관리합니다. 모델을 향상시키는 실제 그래디언트 단계를 담당합니다.
2. 롤아웃 (vLLM + 라우터): 높은 LLM 추론 처리량으로 알려진 vLLM이 롤아웃을 생성합니다. 즉, 모델이 주어진 문제에 대한 응답이나 해결책으로 생성하는 토큰 시퀀스입니다. 라우터는 추론 레이어와 시스템의 나머지 부분 간의 트래픽 분배를 조율합니다.
3. 분리된 데이터 버퍼: 훈련과 롤아웃 단계를 연결하는 중간 레이어로, 맞춤형 로직(보상 필터, 맞춤형 메시지 형식)을 주입하고 두 단계 간의 속도 차이를 해소합니다.
이 설계는 slime 훈련 스택 위에 구축되어 Qwen3 및 GLM-4.5 모델을 위한 GRPO(Group Relative Policy Optimization) 및 PPO(Proximal Policy Optimization) 알고리즘의 이미 개발된 구현과의 호환성을 보장합니다.
vime는 기존 솔루션보다 얼마나 빠른가요?
Qwen3-30B-A3B(MoE 아키텍처, mixture-of-experts) 모델에 대한 벤치마크 비교는 전체 RL 파이프라인에서 단계당 평균 시간(mean step time)으로 측정한 NVIDIA GB200과 H200 하드웨어 간의 뚜렷한 차이를 보여줍니다.
- GB200: 단계당 약 147초
- H200: 단계당 약 252초
- 차이: GB200이 end-to-end에서 1.72배 빠릅니다
이 결과가 Megatron 훈련과 vLLM 롤아웃을 결합한 전체 파이프라인을 측정한다는 점이 중요합니다. 추론이나 훈련만의 격리된 측정이 아닙니다. 이러한 전체론적 벤치마크는 특정 하드웨어에서 RL 사후 훈련을 계획하는 실무자에게 관련성이 있습니다.
R3 라우팅 리플레이: 훈련-추론 분포 드리프트 해결
RL 사후 훈련의 핵심 기술적 과제 중 하나는 샘플을 생성하는 롤아웃 모델과 해당 샘플로 훈련되는 모델 간의 분포 드리프트(distribution drift)입니다. 훈련이 진행됨에 따라 모델이 변화하지만 롤아웃 데이터가 이전 버전에 의해 생성될 수 있어 동일한 토큰에 대한 로그 확률 차이(logprob difference)로 측정되는 불일치가 발생합니다.
vime는 MoE(Mixture-of-Experts) 아키텍처의 이 문제를 특별히 해결하는 R3 라우팅 리플레이를 도입합니다. A100 GPU에서 Qwen3-30B-A3B MoE의 결과:
- R3 리플레이 없음: 로그 확률 차이 약 0.019
- R3 리플레이 사용: 로그 확률 차이 약 0.013
비교를 위해 A100에서 Qwen3-4B(밀집 모델)의 로그 확률 차이는 훈련 전반에 걸쳐 약 0.011로 안정적이지만, 드리프트 관리 없는 기준 비교는 약 0.77에 도달합니다. 이는 실제로 RL 프로세스의 안정성을 심각하게 해칩니다.
GB200에서 GLM-4.5-Air 결과
End-to-end 파이프라인의 예시는 GB200 하드웨어에서 GRPO 알고리즘으로 훈련된 GLM-4.5-Air 모델에 대해서도 제시됩니다. 100번의 훈련 단계에 걸친 핵심 지표:
- 평균 원시 보상(raw reward mean): 약 0.56
- 훈련-롤아웃 로그 확률 차이: 0.02~0.03 범위 유지 (평균 약 0.028)
분포 불일치의 안정성은 vime가 최신 GB200 하드웨어에서도 훈련과 롤아웃 모델을 신뢰할 수 있는 RL 학습을 위해 충분한 정렬 상태로 유지함을 보여줍니다.
연구 커뮤니티를 위한 이점
vime는 첫날부터 공식 발표 제목에 명시된 것처럼 단순하고, 안정적이며, 효율적인 프레임워크로 설계되었습니다. 구체적으로:
- Qwen3 및 GLM-4.5에 대한 검증된 end-to-end 예시와 함께 GRPO 및 PPO 알고리즘 지원
- 여러 유형의 하드웨어에서 작동: A100, H200, GB200
- R3 리플레이 메커니즘 덕분에 MoE 모델에 특별히 최적화
- 이미 커뮤니티에서 널리 채택된 vLLM 생태계 위에 구축
처음부터 인프라 코드를 작성하지 않고 RL 사후 훈련을 구현하려는 연구자와 엔지니어에게 vime는 구체적인 하드웨어에서 검증된 성능과 비용 및 용량 계획을 용이하게 하는 명확한 수치를 갖춘 참조 아키텍처를 제공합니다.
자주 묻는 질문
- vime란 무엇이며 기존 언어 모델 RL 프레임워크와 어떻게 다른가요?
- vime는 slime 훈련 스택 위에 구축된 단일 RL 파이프라인에 Megatron 분산 훈련과 vLLM 추론을 통합합니다. 훈련과 추론을 분리된 상태로 유지하는 솔루션과 달리, vime는 분리된 데이터 버퍼로 세 개의 별도 단계를 통해 이를 조율하여 더 안정적이고 빠른 훈련을 제공합니다.
- R3 라우팅 리플레이란 무엇이며 MoE 모델에 왜 중요한가요?
- R3 라우팅 리플레이는 롤아웃과 훈련 모델 간 분포 드리프트를 해결하는 메커니즘으로, MoE 아키텍처에서 특히 두드러집니다. A100 GPU에서 Qwen3-30B-A3B MoE의 로그 확률 차이를 약 0.019에서 약 0.013으로 줄여 RL 훈련을 안정화합니다.
📬 AI 뉴스를 받은편지함으로
나만의 방식으로 구성하는 일일 다이제스트 — 주제, 출처, 주기를 선택하세요. 원클릭 해지.