LLM-as-a-Verifier: Verifikacija kao nova, četvrta os skaliranja jezičnih modela

Tri paradigme definirale su napredak jezičnih modela u proteklim godinama: skaliranje pre-traininga, post-training fine-tuning s instruction followingom, te test-time compute — tehnika u kojoj model troši više računalne snage za generiranje i provjeru rješenja u trenutku zaključivanja. No istraživači sa Stanforda i UC Berkeleya tvrde da toj trijadi nedostaje jedan ključni element.

U radu objavljenom 6. srpnja 2026. oni identificiraju verifikaciju — sposobnost procjene ispravnosti rješenja — kao novu, četvrtu os skaliranja za LLM-ove, ortogonalnu dosadašnjim pristupima i sposobnu donijeti poboljšanja neovisna o njima.

Tri paradigme skaliranja — i četvrta koja nedostaje?

Argument je konceptualno jednostavan ali metodološki dubok. Jezični modeli koji znaju riješiti težak problem ne moraju nužno znati prepoznati je li neko tuđe rješenje ispravno. Generativna sposobnost i verifikacijska sposobnost dvije su odvojene dimenzije koje se mogu razvijati neovisno.

Dok su sve tri dosadašnje paradigme skaliranja poboljšavale generativnu stranu jednadžbe, verifikacijska sposobnost ostala je relativno neistražena kao zasebna os razvoja. Taj propust posebno postaje uočljiv u kontekstu agenata: autonomnih sustava koji izvršavaju dugotrajne zadatke, pišu i pokreću kod, upravljaju datotekama ili komuniciraju s vanjskim servisima. U takvim sustavima sposobnost prepoznavanja je li neka akcija ili međurezultat ispravan — u realnom vremenu, bez vanjske supervizije — temeljni je preduvjet pouzdanog i sigurnog rada.

Kontinuirani verifikacijski signali umjesto binarnih prosudbi

Klasičan pristup verifikaciji svodi se na binarnu prosudbu: rješenje je ispravno ili nije. Ovaj framework to nadomješćuje kvalitativno drugačijim pristupom. Umjesto diskretnih ishoda, verifikator računa kontinuirane ocjene kao očekivanje nad distribucijom logita scoring-tokena — probabilistički pristup koji donosi fino graduiranu povratnu informaciju tamo gdje binarna prosudba gubi preciznost.

Framework skalira verifikacijsku sposobnost duž triju neovisnih osi:

Granularnost ocjene odnosi se na finu razinu na kojoj verifikator procjenjuje rješenje — od grubih kategorija do procjene svakog koraka ili pothvata.

Ponavljanje evaluacije omogućuje višestruke neovisne procjene istog rješenja čija agregacija konvergira prema točnijoj i stabilnijoj ukupnoj ocjeni.

Dekompozicija kriterija dijeli verifikacijski zadatak na više pod-kriterija koji se evaluiraju zasebno, a čija se sinteza potom kombinira u finalnu ocjenu — pristup koji je posebno koristan za složene zadatke s više aspekata ispravnosti.

SOTA na četiri benchmarka iz različitih domena

Framework postiže vrhunske rezultate u četiri zasebne primjenske domene:

• Terminal-Bench V2: 86,5% — benchmark koji mjeri agentsku sposobnost upravljanja terminalnim procesima i sustavskim sučeljima
• SWE-Bench Verified: 78,2% — standardni benchmark za rješavanje stvarnih GitHub softversko-inženjerskih problema
• RoboRewardBench: 87,4% — procjena kvalitete nagradnih signala za robotske sustave
• MedAgentBench: 73,3% — medicinski agentski zadaci koji zahtijevaju verifikaciju kliničkih procedura i medicinskog rezoniranja

Raspon domena — od softverskog inženjeringa i robotike do medicine — sugerira da se verifikacijska sposobnost može generalizirati kroz različite zadatke bez potrebe za usko specijaliziranim dorađivanjem po domeni.

Verifikacijski signali kao dense nagrada u reinforcement learningu

Uz direktnu primjenu u agentskim sustavima, framework ima drugu važnu ulogu: fino granulirani verifikacijski signali služe kao proxy za napredak zadatka (task-progress proxy), što poboljšava efikasnost reinforcement learninga.

Konkretno, framework je demonstriran u kombinaciji s algoritmima SAC (Soft Actor-Critic) i GRPO, gdje gusta povratna informacija iz verifikatora zamjenjuje rijetke binarne signale nagrade koji su standardni u klasičnom RL-u. Ovaj pristup posebno je vrijedan za zadatke gdje je eksterna verifikacijska nagrada teška za precizno definirati ili skupo za izračunati.

Autori su demonstrirali i integraciju s Claude Code — Anthropicovim razvojnim alatom za AI-potpomognut softverski razvoj — gdje verifikacijski framework pruža fino graduiranu povratnu informaciju razvijačima koji rade s agentskim sustavima. Taj integracijskim primjer pokazuje praktičan put od teorijskog frameworka do primjene u razvojnim alatima koje inženjeri koriste svakodnevno.

Rad je dostupan na arXiv-u (2607.05391). Autorski tim čine istraživači sa Stanforda i UC Berkeleya, a kod i projektna stranica bit će objavljeni javno.