arXiv:2606.05555: Učenje reprezentacija omogućava skalabilni multitask RL (MR.Q)

Znanstveni rad objavljen na arXiv-u (oznaka 2606.05555) 4. lipnja 2026. iznosi tezu da je glavni pokretač skalabilnog multitask reinforcement learninga (RL, učenje pojačavanjem) upravo učenje reprezentacija, a ne model-based kontrola. U središtu rada je MR.Q, model-free algoritam koji tu tezu potvrđuje empirijski na continuous control zadacima.

Što rad tvrdi o izvoru skalabilnosti?

Dominantno uvjerenje u dijelu RL zajednice jest da skaliranje na više zadataka traži eksplicitni model okoline — takozvani world-model — koji omogućuje planiranje. Ovaj rad postavlja drukčiju tezu: ono što stvarno omogućuje skalabilni multitask RL jest kvaliteta naučenih reprezentacija stanja, a ne mehanizam model-based kontrole. Reprezentacija je ovdje naučeni, sažeti opis stanja okoline iz kojeg agent donosi odluke. Ako je taj opis dovoljno dobar, tvrde autori, potreba za eksplicitnim modelom svijeta opada.

Kako je MR.Q konstruiran?

MR.Q je model-free algoritam, što znači da ne gradi eksplicitni model dinamike okoline. Umjesto toga kombinira dvije komponente. Prva su prediktivne reprezentacije — naučeni prikazi stanja optimirani tako da nose informaciju korisnu za predviđanje. Druga je value funkcija visokog kapaciteta, dakle snažan procjenitelj očekivane buduće nagrade. Spajanjem tih dvaju elemenata MR.Q izvlači veliki dio koristi koja se inače pripisuje modelima svijeta, ali bez njihove složenosti.

Kako se MR.Q uspoređuje s world-model metodama?

Ključni rezultat rada jest da MR.Q nadmašuje world-model metode, i to uz manje računske troškove. Posebno je zanimljivo da se ta prednost ostvaruje čak i bez planiranja — koraka u kojem se model okoline koristi za simulaciju budućih ishoda prije odluke. Time rad izravno dovodi u pitanje pretpostavku da planiranje na temelju modela svijeta nužno donosi bolju izvedbu na multitask postavkama.

Zašto su continuous control zadaci dobar test?

Rezultati su demonstrirani na continuous control zadacima — problemima u kojima agent upravlja sustavom s kontinuiranim, a ne diskretnim akcijama, poput upravljanja zglobovima robota. Takvi zadaci tradicionalno su domena u kojoj se očekivalo da world-modeli i planiranje pružaju prednost. Upravo zato je snažan nalaz da model-free MR.Q ondje nadmašuje model-based pristupe: pokazuje da prednost dolazi od reprezentacija, a ne od modeliranja dinamike.

Što ovo znači za buduće RL sustave?

Implikacija je usmjeravanje pažnje i računskih resursa prema kvaliteti reprezentacija umjesto prema sve složenijim modelima svijeta. Ako se učenjem dobrih prediktivnih reprezentacija u kombinaciji s value funkcijom visokog kapaciteta postižu usporedivi ili bolji rezultati uz niži trošak, to nudi jednostavniji i jeftiniji put prema skalabilnim, višezadatnim RL sustavima. MR.Q tako služi i kao konkretan algoritam i kao argument za preusmjeravanje istraživačkog fokusa.