arXiv:2606.03937: Entropija nije dovoljna za vizualno rezoniranje, tvrdi novi RL okvir

Novi rad pod naslovom Entropy Is Not Enough propituje uvriježenu praksu u učenju potkrepljivanjem za multimodalne modele. Autori, predvođeni timom oko Senjie Jina i Fudan sveučilišta, tvrde da metode koje rade odlično za tekst zakažu čim model mora rezonirati nad slikom.

Što je problem s entropijom?

Učenje potkrepljivanjem (reinforcement learning, RL) trenira model nagrađivanjem dobrih odluka. Kod dodjele zasluga pojedinim tokenima često se koristi entropija — mjera nesigurnosti modela u sljedeću riječ. Logika je da su nesigurni tokeni najinformativniji. No autori upozoravaju da vizualno osjetljivi tokeni — oni koji se izravno oslanjaju na sadržaj slike — prirodno imaju nisku entropiju. Klasični entropijski pristup ih stoga zanemaruje, iako su ključni za točan zaključak.

Kako VEPO rješava problem?

Predloženi okvir nosi naziv VEPO (Vision-Entropy token-selection for Policy Optimization). On uvodi multiplikativno spajanje: gradijentsku zaslugu usmjerava prema tokenima koji su istodobno vizualno utemeljeni i visoko informativni. Umnožak dviju mjera znači da token mora zadovoljiti oba kriterija da bi dobio težinu, čime se izbjegava precjenjivanje čisto tekstualnih, ali nesigurnih tokena.

Koliko su poboljšanja velika?

Rezultati pokazuju dosljedne dobitke nad osnovicama koje koriste samo entropiju: +2,28 bodova na modelima veličine 7 milijardi parametara te +3,15 bodova na manjim modelima od 3 milijarde parametara. Manja skala donosi veći dobitak, što sugerira da je pametan odabir tokena posebno vrijedan kada je kapacitet modela ograničen.