RA-RFT: nova metoda pojačanog učenja po analogiji poboljšava matematičko rezoniranje za 7,1 bod

Tim istraživača objavio je na arXiv platformi novi pristup finoj ugodbi jezičnih modela nazvan RA-RFT (Retrieval-Augmented Reinforcement Fine-Tuning), koji matematičko rezoniranje poboljšava kombinacijom analogijskog učenja i pojačanog treniranja s povratnom informacijom.

Ključna inovacija nije samo u tome što se radi, već u tome što se odabire: umjesto standardnog dohvaćanja semantički sličnih primjera, RA-RFT uči tražiti primjere koji su korisni za rezoniranje — i to je distinkcija koja pravi razliku.

Temeljni problem: semantička sličnost ≠ korisnost za rješavanje

Jezični modeli koji se oslanjaju na dohvaćanje primjera (retrieval-augmented generation, RAG) tipično pretražuju bazu znanja po semantičkoj bliskosti: „koji primjer liči na ovaj problem?”

No autori RA-RFT-a idu dalje s kritičnom opservacijom: semantički slični problemi mogu zahtijevati potpuno različite strategije rješavanja, dok naizgled nepovezani problemi ponekad dijele isti temeljni obrazac rezoniranja.

Primjer: dva matematička zadatka mogu koristiti identičnu notaciju i terminologiju, a biti rješivi potpuno različitim metodama. Nasuprot tome, zadatak iz kombinatorike i zadatak iz teorije grafova mogu dijeliti isti logički skok koji modelu treba naučiti. Klasično pretraživanje bira krivi primjer.

Kako RA-RFT rješava ovaj problem?

Okvir se sastoji od dvije ključne komponente:

Prva je destilacija zlatne relevantnosti (gold-relevance distillation). Trenira se zasebni model za dohvaćanje koji ne mjeri semantičku bliskost, već predviđenu korist za rezoniranje — koliko će odabrani primjer zapravo pomoći modelu u rješavanju zadatka. Ovaj retriever uči iz podataka o tome koji primjeri vode do točnih rješenja, ne samo koji izgledaju slično.

Druga komponenta je pojačano fino ugađanje (reinforcement fine-tuning) temeljeno na algoritmu GRPO (Group Relative Policy Optimization). Model (policy) trenira se uz dohvaćene analogijske primjere kao skele — nije im prepušten da ih kopira, već koristi kao putokaz koji ilustrira alternativne strategije rješavanja. Naučene vještine verificiraju se provjeriljivim ishodima, poput točnosti matematičkog rješenja.

RA-RFT kao nova os skaliranja

Autori posebno naglašavaju jednu tvrdnju: poboljšanje koje donosi RA-RFT ortogonalno je na dosadašnje osi skaliranja.

Moderna istraživanja na pojačanom učenju jezičnih modela uglavnom skaliraju duž dviju osi: boljim dizajnom nagrade (reward design) i boljim rasporedom treniranja (curriculum). RA-RFT uvodi treću os — kvalitetu i relevantnost dohvaćenih primjera kao zasebnu dimenziju koja se može neovisno optimizirati i poboljšavati.

To znači da se RA-RFT može kombinirati s postojećim metodama bez konflikta, što ga čini potencijalno privlačnim alatom za stack koji već koristi GRPO ili slične pristupe.

Uvjerljivost rezultata na AIME 2025

Na benchmarku AIME 2025 (American Invitational Mathematics Examination), koji je standardni test za evaluaciju matematičkog rezoniranja jezičnih modela, RA-RFT donosi mjerljive dobitke:

• Model Qwen3-1.7B poboljšan za 7,1 bod na metrici average@32 u usporedbi s baznim GRPO treniranjem
• Model Qwen3-4B poboljšan za 2,8 boda istom metodologijom

Dohvaćeni primjeri ne samo da povećavaju točnost, već pokazuju komplementarne strategije rješavanja — model ima na raspolaganju više putova do rješenja, što povećava robusnost.

Važnost učenja po analogiji

Rezoniranje po analogiji je jedan od temeljnih kognitivnih mehanizama kod ljudi. Kada nailazimo na novi problem, intuitivno tražimo sličan problem koji smo već riješili i pitamo se: „što sam tada napravio i vrijedi li ovdje?”

Za AI sustave, ovaj je mehanizam do sada bio ograničen na površinsku razinu — sustavi su nalazili probleme koji liče, ali ne nužno probleme koji pomažu.

Mogući utjecaj na treniranje modela

RA-RFT je post-training okvir, što znači da se primjenjuje nakon inicijalnog treniranja temeljnog modela. To ga čini kompatibilnim s već postojećim modelima bez potrebe za skupim ponovnim treniranjem od nule.

Autori su eksperimentirali s modelima iz obitelji Qwen3, no metodologija je u principu primjenjiva na bilo koji jezični model uz odgovarajuću bazu primjera za dohvaćanje.

Područje poboljšanja nije ograničeno na matematiku: svaki domain koji ima jasno definirane vektore rješavanja i dovoljno primjera mogao bi profitirati od iste logike. Kod, formalna logika i pravo su prirodni sljedeći koraci.