AgentGym2: Novi benchmark testira LLM agente u de-idealiziranim uvjetima
Istraživači su objavili AgentGym2, evaluacijski okvir koji testira 15 LLM agenata u realnim uvjetima s nepotpunim informacijama i nepoznatim alatima. Svi modeli, uključujući GPT-5 i Gemini, značajno zakazuju — otkrivajući široki jaz između trenutnog stanja tehnologije i zahtjeva produkcijskog deploja. Rad je prihvaćen na ACL 2026.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Mjere li dosadašnji testovi za LLM agente pravu sposobnost — ili samo sposobnost prolaska kroz laboratorijske prepreke? Istraživačka skupina predvođena Zhihengom Xijem i 24 koautora objavila je AgentGym2, evaluacijski okvir koji postavlja upravo to pitanje i nudi konkretan odgovor: dosadašnji benchmarkovi koriste previše pojednostavljene, idealizirane postavke, zbog čega stvarnu težinu agenata u produkcijskom okruženju dramatično podcjenjuju. Rad je prihvaćen kao glavni konferencijski doprinos na ACL 2026.
Svaki standardni benchmark agentima daje unaprijed pripremljene alate, čiste i potpune ulazne podatke te nedvosmisleno definirane zadatke. Radi se o uvjetima koji u stvarnim sustavima gotovo nikad ne postoje. Kod produkcijskog deploja agent redovito nailazi na nepoznate alate koje mora sam otkriti, šumovite ulaze koji mu ne pružaju sve potrebne informacije te višekoračne zadatke u kojima greška u jednoj fazi kaskadno ruši sve što slijedi. AgentGym2 je nastao upravo kako bi ta stvarnost ušla u evaluaciju.
Četiri dimenzije koje razdvajaju laboratorij od stvarnog svijeta
AgentGym2 uvodi strukturirani okvir temeljen na četiri evaluacijske dimenzije, svaka usmjerena na aspekt koji su dosadašnji testovi sustavno zaobilazili:
Izvršavanje procedure od kraja do kraja mjeri sposobnost agenta da provede cjelovit radni tok bez oslanjanja na vanjske intervencije. Pogreška u ranoj fazi kaskadno se prenosi kroz sve naknadne korake — što zrcali krhkost stvarnih automatiziranih pipelineova.
Otkrivanje alata kroz istraživanje okoline zahtijeva da agent sam identificira koje su mu opcije dostupne, umjesto da prima gotov popis s uputama. Ovo simulira uvjete u kojima agent ulazi u nepoznatu okolinu bez prethodnog priručnika.
Kompozicija alata za nepoznate zadatke testira sposobnost kombiniranja više alata na način koji nije bio viđen u treningu. Generalizacija, a ne pamćenje gotovih rješenja, ono je što se zaista mjeri.
Robusnost na šum i nepotpune informacije namjerno unosi loše formatirane ulaze, kontradikcije i manjkavi kontekst. U realnom okruženju korisnici i sustavi rijetko pišu savršeno strukturirane upite, a agenti moraju ostati funkcionalni unatoč tome.
Što otkrivaju rezultati testiranja 15 modela?
Autori su na AgentGym2 benchmarku evaluirali 15 modela, uključujući vodeće proprijetarne sustave — GPT-5 i Gemini — ali i niz open-source alternativa. Zaključak je jednoznačan: svi se značajno muče. Ni jedan od testiranih modela nije dostigao razinu performansi prihvatljivu za autonomni produkcijski deploy bez intenzivnog nadzora i provjere.
Ono što posebno privlači pažnju jest razmjer razlike u odnosu na rezultate koje isti modeli postižu na idealiziranim benchmarkovima. Pad performansi nije marginalan niti je samo neočekivan — autori taj raskorak opisuju kao dramatičan, kao jasan dokaz da su dosadašnje ljestvice mjerile nešto bitno drugačije od onoga što bi agenti trebali raditi u stvarnim sustavima. Visoki skor na standardnim testovima više ne implicira sposobnost za produkciju.
AgentGym2 postavlja novi referentni standard za istraživačku zajednicu
Prihvaćanje rada na ACL 2026 — jednoj od najprestižnijih godišnjih konferencija za obradu prirodnog jezika — potvrđuje da istraživačka zajednica prepoznaje ozbiljnost problema. Dosadašnji benchmarkovi opstaju jer su praktični: lako ih je automatizirati, brzo evaluirati i uspoređivati između modela. No ako mjere lakoću, a ne stvarnost, dugoročno vode istraživanje u krivom smjeru.
AgentGym2 nudi alternativu zasnovanu na de-idealiziranim scenarijima koji bliže odgovaraju uvjetima s kojima se agenti susreću u poduzećima, automatiziranim radnim tokovima i korisničkim aplikacijama. Četiri evaluacijske dimenzije zajedno pokrivaju aspekte koji su do sada redovito izostavljani: otkrivanje, kompoziciju, robusnost i cjelovito izvršavanje zadataka.
Za razvojne timove koji grade produkcijske agentne sustave, poruka je jasna: visoki skor na starim testovima nije jamstvo da će agent funkcionirati ondje gdje ga stvarni posao zaista čeka.
Česta pitanja
- Što je AgentGym2 i po čemu se razlikuje od dosadašnjih benchmarkova?
- AgentGym2 je evaluacijski okvir koji napušta idealizirane laboratorijske uvjete i testira agente u scenarijima s nepoznatim alatima, šumovitim podacima i nepotpunim specifikacijama — uvjetima koji odgovaraju stvarnim produkcijskim sustavima.
- Koliko je modela evaluirano i koji su rezultati?
- Testirano je 15 modela, uključujući GPT-5 i Gemini. Svi se značajno muče, otkrivajući dramatičan pad performansi u usporedbi s rezultatima na dosadašnjim idealiziranim testovima.
- Na kojoj je konferenciji prihvaćen rad?
- AgentGym2 je prihvaćen kao glavni konferencijski rad na ACL 2026, jednoj od najugledanijih konferencija za obradu prirodnog jezika i strojno učenje.