arXiv: TruDi — difuzijske politike za masivno paralelni on-policy RL

Difuzijske politike nailaze na zid u paralelnom treningu

Pojačano učenje temeljeno na masivnoj GPU paralelizaciji postalo je dominantna paradigma za trening agenata koji upravljaju robotima i virtualnim likovima. No dok Gaussove politike u tom okruženju rade stabilno, difuzijski modeli — koji su pokazali iznimne rezultate u planiranju i generiranju složenih pokreta — konstantno su padali na ovoj prepreci. Razlog je precizan: u on-policy okruženju distribucija podataka za trening mijenja se brzo između koraka ažuriranja. Difuzijski modeli, čiji proces uzorkovanja prolazi kroz mnoštvo koraka denoizinga, posebno su osjetljivi na taj pomak i lako postaju nestabilni.

Što je TruDi i kako rješava ovaj problem?

Tim istraživača — Huy Le, Onur Celik, Denis Blessing i suradnici — predložio je TruDi (Trust-Region Diffusion Policies): prvu metodu koja difuzijskim politikama uspješno omogućuje trening u masivno paralelnom, on-policy RL okruženju. Središnji doprinos rada je primjena trust-region optimizacije s KL-divergencijskim ograničenjem koje se, za razliku od ranijih pristupa, provodi na čitavoj difuzijskoj putanji, a ne samo na konačnom uzorkovanom rezultatu. Ovaj izbor nije slučajan: budući da su međukoraci difuzijskog procesa međusobno zavisni, ograničiti samo krajnji uzorak nije dovoljno da se spriječi distribucijski pomak duž putanje. TruDi to rješava eksplicitnim praćenjem i ograničavanjem divergencije u svakom koraku procesa, čime trening ostaje stabilan čak i uz agresivna paralelna ažuriranja.

Evaluacija na 73 zadatka kroz 4 mjerila

Da bi se potvrdila generalizacija metode, autori su TruDi evaluirali na 73 zadatka raspoređena kroz 4 mjerila za masivno paralelni RL. Rezultati pokazuju da TruDi konzistentno nadmašuje ili drži korak s jakim baznim linijama na standardnim zadacima.

Najjasnije prednosti metoda pokazuje na zahtjevnijoj kategoriji: kontroli humanoidnih robota. Humanoidna kontrola tradicionalno predstavlja poseban izazov jer zahtijeva koordinaciju velikog broja stupnjeva slobode uz duge horizonte planiranja — upravo okruženje u kojemu ekspresivnost difuzijskih politika dolazi do izražaja, no samo ako je trening stabilan. TruDi isporučuje tu stabilnost.

Difuzijske politike kao nova snažna bazna linija

Praktični doprinos TruDija nadilazi samog pobjednika mjerila: rad uspostavlja difuzijske politike kao novu, legitimnu baznu liniju za masivno paralelni on-policy RL — režim koji je do sada bio gotovo isključivi teritorij Gaussovih politika.

Gaussove politike imaju predvidljivo i analitički upravljivo ponašanje što ih čini prirodnim izborom kad je stabilnost treninga prioritet. No njihova ekspresivnost ograničena je oblikom distribucije koji pretpostavljaju. Difuzijski modeli ne nameću takva ograničenja i sposobni su modelirati kompleksne, višemodalne distribucije nad akcijama — što je posebno dragocjeno za zadatke poput humanoidnog hoda ili fine manipulacije, gdje „pravih” rješenja može biti više.

TruDi po prvi put čini tu ekspresivnost dostupnom bez žrtvovanja stabilnosti. Time otvara mogućnost da se naredna istraživanja masivno paralelnog RL vode uz difuzijske politike kao standardnu komponentu, a ne kao egzotičnu alternativu.

Metodološka preciznost kao ključ uspjeha

Vrijedi naglasiti zašto je razina na kojoj se primjenjuje trust-region ograničenje bitna. U klasičnim trust-region algoritmima, ograničenje se primjenjuje na cjelokupnu politiku promatranu kao crnu kutiju. Kad je politika Gaussova, to je trivijalno — distribucija ima zatvoreni oblik. Kod difuzijskih politika distribucija akcija nastaje kao produkt višekornog procesa koji nema zatvoreni oblik, pa je procijeniti ili ograničiti divergenciju znatno teže.

TruDi rješava taj problem proširenjem ograničenja na razinu trajektorije difuzijskog procesa: KL-divergencija se mjeri i provodi u svakom denoizing koraku, čime se osigurava da ažuriranje politike ostaje unutar sigurnog trust regiona i na razini međuprocesa, a ne samo na razini vidljive akcije. Ova distinkcija čini razliku između metode koja radi i one koja pada u nestabilnost.

Implikacije za robotiku i kontrolu

Masivno paralelni on-policy RL trenutno je jedan od dominantnih pristupa treningu politika za fizičku robotiku, posebice u simulacijskim okruženjima koja na GPU-u istovremeno pokreću tisuće simuliranih instanci. Integracija difuzijskih politika u taj ekosustav — što TruDi upravo omogućuje — potencijalno otvara put prema politikama koje su i brze za trening i visoko ekspresivne u modeliranju akcija.

Rad, podnesen 13. lipnja 2026., dolazi u trenutku kada robotska zajednica intenzivno traži načine kako iskoristiti generativne modele u petlji treninga. TruDi nudi jedan konkretan, evaluiran odgovor na pitanje koje je do sada ostajalo bez zadovoljavajućeg rješenja.