arXiv: DiRL — smjer koji razlikuje zaključivanje od memoriranja u RL treningu jezičnih modela

Istraživački tim s nekoliko sveučilišta objavio je 9. lipnja 2026. na platformi arXiv rad koji predlaže novu metodu za ojačano učenje (reinforcement learning, RL) jezičnih modela pod imenom DiRL (Direction-Aware Reinforcement Learning, hrv. ojačano učenje s percepcijom smjera). Autori — Jiangnan Xia, Yucheng Shi, Yu Yang, Kishan Panaganti, Zhenwen Liang i Ninghao Liu — identificirali su temeljni problem koji dosad nije bio adekvatno riješen: standardne metode istraživanja prostora rješenja (exploration) nagrađuju raznolikost trajektorija, ali ne razlikuju je li ta raznolikost posljedica pravog zaključivanja ili memoriranih prečaca.

Temeljni problem: svaka nova putanja nije nova ideja

Kada model generira novi niz tokena koji se razlikuje od prethodnih pokušaja, dosadašnje metode to registriraju kao uspješno istraživanje i dodjeljuju nagradu. No autori pokazuju da trajektorija može izgledati nova iz dva potpuno različita razloga:

• Model je primijenio nov logički postupak — pravo zaključivanje (reasoning)
• Model je varirao površinski oblik, ali oslanjao se na iste memorizirane uzorce i prečace (shortcuts)

Tretiranje oba slučaja jednako znači da sustav nagrade nesvjesno potiče model da optimizira memoriranjem umjesto razvijanjem generalnih strategija zaključivanja. To je posebno opasno jer modeli koji memoriziraju prečace mogu izgledati kompetentno na testnim skupovima bliskim trening podacima — ali lako padaju čim naiđu na problem koji je drukčije formuliran ili koji zahtijeva drugačiji logički korak.

Što je DiRL i kako razlikuje zaključivanje od memoriranja?

DiRL rješava problem uvođenjem smjera zaključivanja nasuprot memoriranju (reasoning-memorization direction) koji se ekstrahira izravno iz unutarnjih reprezentacija modela. To je latentni vektor koji opisuje na koji pol — zaključivanje ili memoriranje — se model pomiče pri generiranju određene trajektorije.

Na temelju tog smjera konstruiraju se gradijentne značajke ponderiranjem smjera (direction-weighted gradient features): matematički opis koji svakom ažuriranju parametara modela pridružuje mjeru koliko je blisko polu zaključivanja, a koliko polu memoriranja.

Nagrade se zatim oblikuju (shaped) prema tom mjerilu:

• Pojačava se istraživanje poravnato sa smjerom zaključivanja
• Potiskuju se varijacije poravnate sa smjerom memoriranja

Ključna praktična prednost je da se DiRL integrira u standardni GRPO (Group Relative Policy Optimization) bez ikakvih arhitekturalnih promjena u modelu. Ne zahtijeva posebne slojeve, vanjske klasifikatore niti skupo ručno označavanje podataka — sve što treba sadržano je u internim reprezentacijama koje model već gradi tokom treninga.

Evaluacija na matematičkim i općim benchmarkovima

Autori su evaluirali DiRL na skupu matematičkih i općih benchmark testova zaključivanja, gdje metoda pokazuje značajna poboljšanja u usporedbi s postojećim pristupima istraživanja raznolikosti. Rad je strukturiran na 12 stranica s 6 figura koje vizualiziraju razliku između ponašanja modela s DiRL-om i bez njega.

Konzistentna poboljšanja na različitim tipovima zadataka upućuju na to da je smjer zaključivanja-memoriranja generičko obilježje modela — a ne artefakt specifičnog skupa podataka ili domene. Autori naglašavaju da je upravo ta generičnost temeljna prednost metode nad pristupima koji su optimizirani za uske kategorije zadataka.

Zašto je distinkcija zaključivanje-memoriranje šira od matematike

Implikacije ovog rada nadilaze matematičke zadatke. Svaki put kada se jezični model trenira ojačanim učenjem — za praćenje uputa, rješavanje programskog koda, planiranje koraka u agentnim sustavima ili višekoračno logičko rezoniranje — postoji latentni rizik da model optimizira nagradu kroz memoriranje uzoraka, a ne kroz razvoj generalnih strategija.

Dosadašnje metode istraživanja pokušavale su problem riješiti povećanjem raznolikosti na razini tokena ili gradijenata, ali bez uvida u to što ta raznolikost zaista znači za interno stanje modela. DiRL donosi taj uvid izravno iz modelovih reprezentacija: umjesto da mjeri raznolikost na površinskoj razini, mjeri je tamo gdje se razlika između zaključivanja i memoriranja strukturalno manifestira.

Otvorena metodologija pod CC BY 4.0 licencom

Metodologija je objavljena pod licencom CC BY 4.0 (Creative Commons Attribution 4.0), što znači da je dostupna za slobodnu primjenu, prilagodbu i daljnju izgradnju u akademskim i industrijskim istraživanjima.

Za istraživačke timove koji rade na RL post-treningu jezičnih modela, DiRL nudi principijelan i arhitekturalno neintenzivan alat za poboljšanje kvalitete istraživanja — bez potrebe za promjenom temelja pipeline-a. Preprint s kodom i detaljima metode dostupan je na arXiv-u (ID: 2606.10346).