VRRL: pojačano učenje primorava vizualne modele da stvarno koriste sliku pri samokorekciji

Sposobnost samokorekcije jedna je od ključnih karakteristika koje se od vizualno-jezičnih modela (VLM-ova) traži u agentskim primjenama. Kada model napravi grešku, treba je prepoznati i ispraviti — idealno oslanjajući se na originalni vizualni ulaz kao izvor istine.

Problem, koji su dokumentirali Liyan Tang, Fangcong Yin i Greg Durrett, jest da postojeći VLM-ovi to ne rade na ispravan način. Kada ulaze u fazu samorefleksije, modeli tendiraju oslanjati se na prethodni jezični kontekst umjesto da zaista pogledaju sliku iznova. Rezultat su korekcije koje nisu utemeljene u vizualnom ulazu — model mijenja odgovor, ali ne zato što je vizualno provjerio svoju grešku, nego zato što je promijenio jezični uzorak.

Zašto standardni pristupi ne rješavaju vizualno neuzemljenu samorefleksiju?

Standardni fine-tuning poboljšava opću točnost, ali ne cilja specifičan problem ispravljanja greške uvjetovanog vizualnim ulaskom. Reflection-oriented fine-tuning uči model formatu samorefleksije, no bez garancije da će korekcija biti uistinu utemeljena na slici. Model može producirati ispravno strukturiranu refleksiju koja u potpunosti ignorira vizualni dokaz.

Pojačano učenje (RL) nudi bolje polazište jer nagrada može signalizirati točnost finalnog odgovora. No standardni RL ne forsira da put do ispravnog odgovora prolazi kroz vizualnu provjeru — model može naučiti točne odgovore kroz prečace u jezičnom prostoru. VRRL (Visually Grounded Self-Reflection via Reinforcement Learning) adresira upravo ovu prazninu.

Dvije tehničke inovacije unutar VRRL okvira

VRRL gradi na RL okviru s dvije specifične modifikacije namijenjene forsiranju vizualno uzemljene korekcije.

Prva je maskiranje prefiksa trajektorije. Tijekom treniranja, početni koraci trajektorije — uključujući inicijalnu grešku — maskiraju se od RL signala. Model prima nagradu ili kaznu isključivo na temelju onoga što čini u fazi korekcije. Na taj način optimizacijski pritisak usmjeren je prema tome kako ispraviti grešku, a ne samo prema tome kako je izbjeći od samog početka. Korekcija mora biti utemeljena na nečemu — a jedino što model ima dostupno u fazi refleksije, osim prethodnog teksta, jest originalna slika.

Druga tehnika su buffered roll-ins — mehanizam experience replayja koji gradi raznolik bazen trajektorija neuspjeha iz prošlih epoha treniranja. Umjesto da model uvijek polazi od istih ili sličnih grešaka, roll-in buffer eksponira ga na široku paletu modova neuspjeha. Time se sprječava overfitting na specifičan tip greške i poboljšava generalizacija na distribucijski pomaknutim primjerima — što je kritično za agentske sustave koji susreću nepredviđene vizualne ulaze.

Rezultati: bitno bolji OOD učinak

VRRL je evaluiran na vizualnom uzemljenju — zadacima koji zahtijevaju lokalizaciju i interpretaciju objekata u tablicama i grafovima — te na zadacima prostorne navigacije koji testiraju sposobnost praćenja vizualnih odnosa kroz sekvence slika.

Na svim testiranim konfiguracijama, VRRL postiže bitno bolji učinak na distribucijski pomaknutim primjerima (out-of-distribution, OOD) u usporedbi sa standardnim RL baselineima i reflection-oriented fine-tuningom. OOD evaluacija je posebno relevantna za agentske primjene jer modelima u produkciji redovito stižu vizualni ulazi koji se razlikuju od distribucije treniranja — i upravo tu standardni pristupi pad.

Širi kontekst za agentske VLM arhitekture

VRRL cilja specifičan i praktično važan mod neuspjeha: vizualna provjera koja zapravo ne mijenja ponašanje. U agentskim petljama gdje VLM iterativno izvršava akcije, promatra vizualni povratni signal i prilagođava plan, ova praznina ima direktne operativne posljedice — model koji reflektira bez vizualnog uzemljenja samo propagira iste greške u novim formulacijama.

Metodološki doprinos rada ne leži samo u boljim brojevima na benchmarkovima. VRRL demonstrira da odabir što se maskira i što se replayja u RL treniranju može ciljano forsirati specifičan kognitivni mod u modelu. Za istraživače koji grade vizualne agente, ovo otvara prostor za dizajn RL algoritama koji eksplicitno ciljaju sposobnosti poput kauzalnog vizualnog zaključivanja ili prostornog praćenja, umjesto da se oslanjaju isključivo na globalnu nagradu za točnost odgovora.