vLLM: Standardizirani API-ji za sinkronizaciju težina ubrzavaju asinkroni RL

Projekt vLLM, jedan od najraširenijih open-source servisa za inferenciju velikih jezičnih modela, objavio je 28. svibnja 2026. standardizirane native API-je za reinforcement learning (RL). Cilj je ukloniti fragmentaciju koja je dosad usporavala razvoj RL pipeline-ova.

Koji problem rješavaju native RL API-ji?

U reinforcement learningu — metodi treniranja u kojoj model uči kroz nagrade i kazne — težine modela (weights) moraju se stalno prenositi između faze treninga i faze inferencije. vLLM ističe da je dosad “sinkronizacija težina između treninga i inferencije implementirana ad-hoc i duplicirana kroz frameworke”. Svaki RL alat rješavao je isti problem na svoj način.

Novost uvodi standardizirane API-je s četiri operativne faze: inicijalizaciju (init_weight_transfer_engine), pokretanje ažuriranja (start_weight_update), prijenos težina (update_weights) i završetak uz post-procesiranje poput kvantizacije (finish_weight_update).

Kako se težine prenose i koji su backendovi?

vLLM nudi dvije transport implementacije. NCCL služi za GPU-to-GPU broadcast preko zasebnih uređaja, dok IPC omogućuje prijenos na istom uređaju putem CUDA shared memory handlea. Oba koriste optimiziranu packed implementaciju za minimiziranje serialization overheada — troška pretvaranja podataka u format pogodan za prijenos.

Za asinkroni RL dodan je i treći način pauziranja, keep mode, koji pauzira aktivne zahtjeve uz očuvanje stanja schedulera, omogućujući ažuriranje težina bez prekidanja ili čekanja na dovršetak.

Kako se sprječavaju problemi stabilnosti?

U velikim distribuiranim deploymentima tipa DPEP (Data Parallel + Expert Parallel) vLLM uvodi dvofazni pause/resume protokol koji sprječava deadlock. U prvoj fazi enginei pauziraju raspoređivanje, ali nastavljaju poštivati START_DP_WAVE koordinacijske poruke; u drugoj fazi globalna all-reduce verifikacija osigurava da svi rankovi prijeđu zajedno.

API-ji su demonstrirani u SkyRL-u za asinkroni DAPO trening, a validirani u velikoj skali od strane tima Prime-RL na 16 čvorova s 8 H200 GPU-ova, uz stabilan trening kroz više od 100 koraka. Time se standardizira ključna komponenta modernih RL pipeline-ova.