arXiv:2606.09380: Turniri tragova rješavaju problem nultog gradijenta u RLVR treningu jezičnih modela
Reasoning Arena je nova metoda treninga jezičnih modela zasnovana na reinforcement učenju s provjerljivim nagradama (RLVR). Umjesto uobičajene grupne usporedbe tragova, uvodi head-to-head turnire i Bradley-Terry model za procjenu relativnih prednosti — čime se eliminira problem nultog gradijenta i ubrzava trening za 27–41%.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Problem nultog gradijenta u RLVR treningu
Reinforcement Learning with Verifiable Rewards (RLVR) postaje dominantna paradigma za poboljšanje sposobnosti rasuđivanja jezičnih modela. Metoda nagrađuje tragove zavisno o točnosti konačnog odgovora, a procjena prednosti izračunava se relativno unutar grupe istovremeno generiranih uzoraka.
Problem nastaje kad cijela grupa tragova dobije identičnu nagradu — svi točni ili svi netočni. Standardni group-relative pristup tada vraća nulti gradijent: model ne prima nikakav koristan signal za učenje, a trening stagnira. Ovaj fenomen posebno je izražen na lakšim zadacima (gdje su svi točni) i teškim zadacima (gdje su svi netočni), upravo tamo gdje je precizno usmjeravanje gradijenta najvažnije.
Kako turniri tragova rješavaju mrtav signal?
Umjesto grupne usporedbe s jednakom nagradom, Reasoning Arena organizira head-to-head turnire između tragova i procjenjuje relativnu snagu svakog putem Bradley-Terry probabilističkog modela na dinamičkom skupu sidara. Han Zhou, Adam X. Yang, Laurence Aitchison, Anna Korhonen i Albert Q. Jiang predstavili su ovaj pristup u radu arXiv:2606.09380 (objavljenom 8. lipnja 2026.).
Ključna prednost jest da novi trag ne mora biti uspoređivan sa svim ostalima — skupo O(n²) — nego samo sa selektiranim sidrom. Čak i kad tragovi dijele istu nagradu, razlike u kvaliteti zaključivanja postaju vidljive kroz ishode turnira. Na taj način uzorci s nultom prednošću pretvaraju se u korisne gradijentne korake, a informacija o unutargrupnim razlikama ne izmišlja se — izvlači se iz samog procesa rasuđivanja.
Rezultati: brži, jeftiniji i točniji
Evaluacija na natjecateljskim matematičkim i programerskim benchmarkovima bilježi poboljšanje točnosti od +7,6% u odnosu na standardni group-relative pristup. Uz to, trening se ubrzava za 27 do 41 posto, a compute za generiranje uzoraka smanjuje se za oko 50 posto.
Autori zaključuju da Reasoning Arena nije samo učinkovitija nego i jeftinija alternativa postojećim metodama RLVR treninga — posebno vrijedna za istraživačke grupe s ograničenim računalnim proračunom koje žele postići napredak u sposobnostima rasuđivanja bez razmjernog rasta troškova.
Česta pitanja
- Što je problem nultog gradijenta u RLVR treningu?
- Problem nastaje kad svi tragovi unutar iste grupe dobiju identičnu nagradu — tada standardni group-relative pristup vraća nulti gradijent i model ne prima nikakav signal za učenje. Reasoning Arena to rješava otkrivanjem unutargrupnih razlika putem turnirske usporedbe tragova.
- Koliko su uštede pri primjeni Reasoning Arene?
- Metoda ubrzava trening za 27 do 41 posto i smanjuje compute za generiranje uzoraka za oko 50 posto, uz poboljšanje točnosti od +7,6% na matematičkim i programerskim benchmarkovima.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.