Kaskada proba predviđa neuspjeh AI agenta iz skrivenih aktivacija pri prvom koraku i štedi do 47% tokena

AI agenti koji rješavaju višekoračne zadatke — pretraživanje weba, pisanje koda, automatizacija poslovnih procesa — često nastavljaju prema neuspjehu dugo nakon što je ishod de facto određen. Svaki nepotreban korak troši tokene, memoriju i novac. Istraživači Kai Ruan, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang i Hao Sun razvili su sustav koji prepoznaje takve „osuđene” epizode ranije nego ikad prije — idealno već pri prvoj interakciji s okolinom, a ne tek kada se greška materijalizira kao vidljiva akcija agenta.

Skrivena stanja kao prediktor neuspjeha

Temeljni uvid rada jest da signal neuspjeha nije skriven u onome što agent kaže ili radi, nego u onome što se odvija unutar samog modela. Lagane probe na skrivenim aktivacijama neuronske mreže — tenzorima koji nastaju između slojeva transformera i kodiraju interno stanje modela u svakom trenutku — nadmašuju sve bihevioralne pristupe koji analiziraju vanjski vidljive akcije.

To je važna konceptualna razlika. Bihevioralni scoreri čekaju dok greška postane vidljiva u izlazu ili akciji agenta, što može zahtijevati nekoliko koraka ili rundi. Interne probe hvataju signal dok model još procesira prvu interakciju s okolinom. Skrivene reprezentacije kodiraju informacije o budućoj trajektoriji epizode znatno ranije nego što te informacije postaju dostupne kroz vanjski vidljive signale — a empirijska usporedba s bihevioralnim baslineom to potvrđuje: bihevioralni scoreri tipično postižu upola manje uštede.

Kako funkcionira kaskada kalibriranih abort-kapija?

Sustav je implementiran kao kaskada kapija za prijevremeno zaustavljanje, s jednom kapijom po rundi agentske epizode. Svaka kapija koristi probu kalibriranu distribucijsko-slobodnom metodom koja garantira per-runda recall budžet — precizno definiran postotak uspješnih epizoda koji smije biti pogrešno zaustavljen u toj konkretnoj rundi.

Kritična razlika od naivnog pristupa s više kapija jest da je optimizacija provedena na razini cijele epizode. Korisnik zadaje recall cilj na razini epizode — primjerice 90% — i sustav garantira da će barem toliko epizoda koje bi uspješno završile proći sve kapije i biti dovršene. Pojedinačne kapije kalibriraju se zajednički kako bi taj uvjet bio zadovoljen, ne svaka za sebe zasebno.

Kaskadna arhitektura kombinira probe s neovisnim signalima po rundama, čime postiže 1,6–1,7 puta bolju efikasnost od bilo koje single-gate politike. Svaka kapija eliminira dio osuđenih epizoda koje prethodne kapije nisu prepoznale, a skupna preciznost kaskade strogo nadilazi sposobnost bilo koje pojedinačne kapije postavljene na optimalnoj točki epizode.

Empirijski rezultati na Qwen i Llama modelima

Autori su evaluirali kaskadu na dva open-source modela pri 90% recall cilju, mjereći postotak uštede u ukupnom broju procesiranih tokena:

Za Qwen-2.5-7B: kaskada postiže 47,1% ± 10,3% uštede. Gotovo polovina ukupno potrošenih tokena odlazila je na epizode koje sustav ispravno prepoznaje kao osuđene i prekida rano — bez da uspješne epizode budu pogrešno zaustavljene u stopi višoj od 10%.

Za Llama-3.2-3B: ušteda iznosi 37,2% ± 8,8% pri istom recall cilju. Razlika između modela sugerira da su interne reprezentacije većeg modela informativnije za predikciju ishoda — što je konzistentno s hipotezom da veći modeli kodiraju bogatije interne reprezentacije stanja zadatka.

Oba rezultata bitno nadmašuju bihevioralne scorere, koji postižu otprilike upola manje uštede pri istim uvjetima, čime se empirijski potvrđuje da skrivena stanja nose bitno više prognostičkih informacija od vanjski vidljivih akcija.

Implikacije za produkcijsko okruženje

Rano zaustavljanje osuđenih epizoda ima izravne implikacije za operativne troškove agentskih sustava. Compute se troši proporcionalno duljini epizode: svaki token potrošen na putanju koja ionako završava neuspjehom je trošak bez povrata. Na sustavima s velikim volumenima zadataka, čak i konzervativna ušteda od 37% tokena prevodi se u značajno smanjenje infrastrukturnih troškova.

Recall parametar omogućuje prilagodbu kaskade različitim poslovnim prioritetima bez ponovnog treninga. Za kritične zadatke — gdje je pogrešno zaustavljanje uspješne epizode skuplje od računalne neučinkovitosti — recall se može pomaknuti na 95–97%, dopuštajući manji dio osuđenih epizoda da prođu radi veće sigurnosti. Za visoko-volumenski, manje kritično okruženje, agresivnija ušteda tokena može biti prioritet. Ova fleksibilnost čini kaskadu primjenjivom na širok spektar produkcijskih scenarija bez kompromisa u temeljnoj arhitekturi.