vLLM: vime — novi RL okvir koji spaja Megatron trening i vLLM inferenciju u jedinstven pipeline

Tim iza projekta vLLM (brzi okvir za LLM inferenciju) objavio je 9. lipnja 2026. novi okvir za post-trening jezičnih modela pod imenom vime. Puno ime otkriva svrhu: integracija Megatron distribuiranog treninga i vLLM inferencije u jedinstven cjevovod (pipeline) za ojačano učenje (reinforcement learning, RL). vime je izgrađen na vrhu slime trening stoga i dizajniran da premosti jaz između dva uvriježena dijela infrastrukture za duboko učenje — distribuiranog treninga i distribuirane inferencije — koji su se dosad uglavnom koristili odvojeno.

Arhitektura: tri koordinirana stupnja

vime koristi arhitekturu s tri odvojena, ali čvrsto koordinirana stupnja:

1. Trening (Megatron): Megatron-LM upravlja ažuriranjem parametara i sinkronizacijom težina modela na velikom broju GPU-a. Odgovoran je za stvarne gradijentne korake koji model čine boljim.

2. Rollout (vLLM + router): vLLM, poznat po visokoj propusnosti LLM inferencije, generira uzorke (rollouts) — nizove tokena koje model producira kao odgovore ili rješenja na zadane probleme. Router koordinira raspodjelu prometa između inferencijskog sloja i ostatka sustava.

3. Decoupled data buffer: Međusloj koji spaja trening i rollout fazu, omogućuje ubacivanje prilagođene logike (filteri nagrada, prilagođeni formati poruka) i premošćuje razlike u brzini između oba stupnja.

Ovaj dizajn gradi se na vrhu slime trening stoga, što jamči kompatibilnost s već razvijenim implementacijama GRPO (Group Relative Policy Optimization) i PPO (Proximal Policy Optimization) algoritama za modele Qwen3 i GLM-4.5.

Koliko je vime brži od dosadašnjih rješenja?

Benchmark usporedba na modelu Qwen3-30B-A3B (MoE arhitektura, mixture-of-experts) prikazuje izrazitu razliku između NVIDIA GB200 i H200 hardvera mjerenu kao prosječno vrijeme po koraku (mean step time) u punom RL pipeline-u:

• GB200: ~147 sekundi po koraku
• H200: ~252 sekunde po koraku
• Razlika: GB200 je 1,72× brži end-to-end

Važno je naglasiti da ovi rezultati mjere cijeli pipeline — kombinirajući Megatron trening i vLLM rollout — a ne samo izolirano mjerenje inferencije ili samo treninga. Takvi holostički benchmarkovi relevantni su za praktičare koji planiraju RL post-trening na konkretnom hardveru.

R3 routing replay: adresiranje drifta trening-inferencija distribucija

Jedan od ključnih tehničkih izazova u RL post-treningu je drift distribucija (distribution drift) između rollout modela koji generira uzorke i modela koji se trenira na tim uzorcima. Kako trening napreduje, model se mijenja, ali rollout podaci mogu biti generirani starijom verzijom — što rezultira raskorakom koji mjeri se kao razlika u log-vjerojatnostima (logprob difference) za iste tokene.

vime uvodi R3 routing replay koji se posebno bavi ovim problemom kod MoE (Mixture-of-Experts) arhitektura. Rezultati za Qwen3-30B-A3B MoE na A100 GPU-ima:

• Bez R3 replay: razlika log-vjerojatnosti ~0,019
• S R3 replay: razlika log-vjerojatnosti ~0,013

Za usporedbu, na Qwen3-4B (gustom modelu) na A100, razlika log-vjerojatnosti ostaje stabilna na ~0,011 kroz trening, dok bazična usporedba bez upravljanja driftom doseže ~0,77 — što bi u praksi ozbiljno ugrozilo stabilnost RL procesa.

Rezultati s GLM-4.5-Air na GB200

Primjer end-to-end pipelina prikazan je i za GLM-4.5-Air model treniran s GRPO algoritmom na GB200 hardveru. Ključni pokazatelji kroz 100 koraka treninga:

• Srednja sirova nagrada (raw reward mean): ~0,56
• Razlika log-vjerojatnosti trening-rollout: ostaje u rasponu 0,02–0,03 (srednja vrijednost ~0,028)

Stabilnost raskoraka distribucija pokazuje da vime uspješno drži trening i rollout model u dostatnoj usklađenosti za pouzdano RL učenje, čak i na najnovijem GB200 hardveru koji donosi drugačije karakteristike propusnosti od A100 i H200.

Prednosti za istraživačku zajednicu

vime je od prvog dana dizajniran kao jednostavan, stabilan i efikasan okvir — kako stoji u naslovu službene objave. Konkretno:

• Podržava GRPO i PPO algoritme s validiranim end-to-end primjerima za Qwen3 i GLM-4.5
• Radi na više vrsta hardvera: A100, H200 i GB200
• Posebno je optimiziran za MoE modele zahvaljujući R3 replay mehanizmu
• Gradi se na ekosustavu vLLM koji je već široko prihvaćen u zajednici

Za istraživače i inženjere koji žele implementirati RL post-trening bez pisanja infrastrukturnog koda od nule, vime nudi referentnu arhitekturu s provjerenim performansama na konkretnom hardveru i jasnim brojevima koji olakšavaju planiranje troškova i kapaciteta.