arXiv:2607.11598: interakcija kao 'treća os' test-time computea uklanja do 74% grešaka

Test-time compute i zašto mu treba treća os

Test-time compute označava dodatno računanje koje model troši tijekom inferencije — umjesto jednokratnog odgovora, model razmišlja dulje, generira više kandidata ili komunicira s vanjskim sustavima kako bi povećao točnost. Do sada su istraživači razlikovali dvije standardne osi: produljeno razmišljanje (chain-of-thought, razmišljanje korak-po-korak) i best-of-N uzorkovanje (generiranje N odgovora pa odabir najboljeg). Autori Bojie Li i Noah Shi s preprinta arXiv:2607.11598 tvrde da te dvije osi dosežu plato — i predlažu treću.

Što je interakcijska os i zašto ne dostiže plato?

Interakcija je treća os: model komunicira s vanjskim alatom (npr. kompajlerom, izvršiteljem koda, tražilicom) i iterativno popravlja izlaz temeljem povratnih informacija. Za razliku od samo-razmišljanja i best-of-N, interakcija ne dostiže plato jer svaka povratna informacija alata donosi nov signal koji model nije mogao sam generirati. Usporedba je jasna: dok dulje razmišljanje i uzorkovanje kruže unutar modela, interakcija uvodi vanjsku provjeru stvarnosti.

Proposer-reviewer sustav i mjerni alat

Konkretna implementacija je proposer-reviewer sustav u kojemu jedan agent predlaže rješenje, a drugi ga kritizira kroz interakciju s alatima. Rezultat: 100% pass rate na testiranom skupu zadataka — što ni produljeno razmišljanje ni best-of-N ne postižu.

Autori uvode i standardizirani mjerni alat koji evaluira kvalitetu kroz četiri modaliteta (tekstualni, vizualni, kodovni, matematički). Taj alat uklanja 40 do 74% defekata ovisno o modalitetu. Usporedba s VLM-om bez alata je ilustrativna: vision-language model bez interakcijske os ocjenjuje 14 od 15 namjerno pokvarenih figura kao savršene — dakle promašuje gotovo svaki defekt.

Implikacije za razvoj modela

Rad sugerira da skaliranje test-time computea kroz samo produljeno razmišljanje ili više uzoraka ima prirodni strop. Interakcija s alatima — kompajlerima, testovima, tražilicama — predstavlja put kojim se taj strop može zaobići. Za praktičare to znači da arhitekture agentnih sustava s petljom povratnih informacija (feedback loop) nisu samo inženjerski trik nego temeljni mehanizam skaliranja.