Direct-OPD: Kako slabiji model može trenirati jačeg bez skupog RL-a

Treniranje jezičnih modela s reinforcement learningom na provjerljivim nagradama — takozvani RLVR pristup — iznjedrilo je neke od najimpresivnijih poboljšanja u sposobnostima rezoniranja modernih AI modela. No ovaj pristup dolazi s praktičnom cijenom: svaki novi, snažniji model zahtijeva vlastitu skupu RL kampanju, u kojoj mora generirati tisuće rollout-a dok uči iz nagrade. Kako modeli rastu u veličini, post-training sam po sebi postaje usko grlo skaliranja.

Istraživači s Tsinghua sveučilišta i Zhipu AI predložili su elegantno rješenje ovog problema u radu objavljenom 6. srpnja 2026. — metodom nazvanom Direct On-Policy Distillation (Direct-OPD).

Zašto je RL skup za svaki novi model?

Dosadašnji odgovor na ovaj problem bio je pristup poznat kao “weak-to-strong” destilacija: trenirajte RL na manjem, jeftinijem modelu pa taj model koristite kao učitelja za jači ciljani model. No naivna implementacija ovog pristupa ne funkcionira dobro. Konačna politika slabijeg RL-treniranog modela miješa korisne dobitke koje je RL donio s inherentnim ograničenjima manjeg modela. Kada jači model imitira takvu politiku, preuzima i ograničenja zajedno s dobitcima.

Problem je konceptualan: direktna destilacija konačne politike ne prenosi ono što je RL zaista naučio — prenosi i sve ono što jači model već zna bolje od slabijeg. Umjesto čistog RL signala, jači model dobiva paket koji uključuje i slabosti manjeg.

Direct-OPD: Prenošenje pomaka, ne politike

Ključni uvid iza Direct-OPD-a metodološki je precizan: umjesto da imitira što slabiji model kaže, Direct-OPD ekstrahira što je RL promijenio u slabijeg modela.

Metoda uspoređuje post-RL checkpoint slabijeg modela s njegovim pre-RL referentnim checkpointom. Logaritamski omjer (log-ratio) tih dviju distribucija otkriva koje akcije je RL učinio vjerojatnijima, a koje manje vjerojatnima — bez da se taj signal miješa s inherentnim slabostima manjeg modela. Ovaj log-omjer zatim se koristi kao gusta implicitna nagrada za jačeg učenika koji generira rollout-e na vlastitim on-policy stanjima.

Rezultat je metodologija koja direktno prenosi RL supervizijski signal između razina skale, bez treniranja eksplicitnog modela nagrade i bez pokretanja sparse-reward RL-a na ciljanom velikom modelu. Računalna cijena pada na slabijeg modela, a signal koristi jači.

Rezultati: +14,1 postotnih bodova na elitnom benchmarku

Empirijski rezultati su nedvosmisleni. Na AIME 2024 benchmarku — skupu natjecateljskih matematičkih zadataka koji su standardna mjera rezoniranja najjačih modela — Direct-OPD poboljšao je Qwen3-1.7B s 48,3% na 62,4%, skok od 14,1 postotnog boda.

Taj rezultat postignut je u svega 4 sata treninga na 8 A100 GPU-ova — trajanje koje pokazuje praktičnu izvedivost pristupa izvan laboratorijskog konteksta. Štoviše, Direct-OPD nadmašuje direktni RL na jačem modelu uz isti broj koraka (step-matched direct RL): za isti utrošeni compute, postiže bolji rezultat.

Metoda pokazuje još jednu vrijedno karakteristiku: omogućuje sekvencijalno slaganje više RL poboljšanja. Pomaci iz više različitih RL eksperimenata mogu se primijeniti sukcesivno — kao modularni slojevi koji se kombiniraju bez međusobnog rušenja. To otvara mogućnost izgradnje složenijih lanaca poboljšanja koji iskorištavaju rezultate više specijaliziranih RL kampanja.

Implikacije za superalignment i skalabilni nadzor

Istraživanje Direct-OPD zadire u jedan od temeljnih otvorenih problema AI sigurnosti: superalignment, odnosno skalabilni nadzor. Pitanje je kako možemo nadzirati AI modele koji su sposobniji od svojih nadzornika.

Direct-OPD nudi konkretan doprinos: pokazuje da se RL dobitak može prenijeti prema gore po skali bez gubitka suštine. Slabiji model koji je prošao RL trening može funkcionirati kao kalibrator za jačeg, a da mu ne prenosi vlastite slabosti. Autori eksplicitno formuliraju tu pouku — RL ishodi mogu se koristiti kao implicitni signali nagrade između razina skale modela, ne samo kao konačni modeli za imitaciju.

To otvara istraživačke smjerove koji uključuju slaganje uzastopnih RL poboljšanja iz različitih domena i izgradnju hijerarhija nadzora — sustava u kojima svaka razina uči od slabije razine, ali nadilazi njena inherentna ograničenja.

Rad je dostupan na arXiv-u (2607.05394), a projektna stranica na bytedtsinghua-sia.github.io/Direct-OPD/ najavljuje javno objavljivanje koda i checkpointa.