arXiv:2606.17819: Prvi sistemski benchmark 500 agentskih vještina na 19 konfiguracija modela
Novi rad uvodi prvi sistemski okvir za evaluaciju agentskih vještina: 500 stvarnih vještina i 1.000 zadataka s rubrikama za praćenje uputa i dovršavanje ciljeva, testiranih na 19 konfiguracija proprietarnih i otvorenih modela. Modeli pokazuju značajne razlike u dobitku ovisno o preciznosti uputa za vještine. Evaluacijski skup objavljen je javno, a nalazi imaju izravne implikacije za uvođenje agenata u produkciju.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Novi preprint donosi prvi sistemski benchmark agentskih vještina, područja koje je dosad bilo slabo mjereno unatoč brzom uvođenju agenata u produkciju.
Što benchmark mjeri?
Okvir evaluira 500 stvarnih vještina i generira 1.000 zadataka s rubrikama koje odvojeno ocjenjuju praćenje uputa i dovršavanje ciljeva. Vještina je ovdje paket uputa i alata koji agentu omogućuje obavljanje specifičnog zadatka. Testiranje je provedeno na 19 konfiguracija proprietarnih i otvorenih modela, čime se dobiva široka usporedna slika.
Koji je ključni nalaz?
Modeli pokazuju značajne razlike u dobitku ovisno o tome koliko su precizne upute za pojedinu vještinu. Drugim riječima, ista vještina daje vrlo različite rezultate na različitim modelima, a kvaliteta uputa presudno utječe na ishod. To upućuje na to da uspjeh agenta nije samo stvar modela, nego i pažljivog dizajna vještina.
Zašto je to važno?
Autori su javno objavili evaluacijski skup, što omogućuje ponovljiva mjerenja i daljnja istraživanja. Za timove koji uvode agente nalaz je praktičan: izbor modela i preciznost definicije vještina treba mjeriti zajedno, jer pogrešna kombinacija može znatno smanjiti pouzdanost u produkciji.
Česta pitanja
- Što benchmark mjeri?
- 500 stvarnih agentskih vještina kroz 1.000 zadataka s rubrikama za praćenje uputa i dovršavanje ciljeva, na 19 konfiguracija modela.
- Koji je ključni nalaz?
- Modeli pokazuju značajne razlike u performansama ovisno o preciznosti uputa za pojedinu vještinu.
Povezane vijesti
LangChain: 'Loop engineering' — slaganje povratnih petlji oko agenata za pouzdanost i samopoboljšanje
AWS: Strands Evals SDK automatizira otkrivanje kvarova AI agenata i analizu korijenskog uzroka
LangChain: Fino ugođeni Qwen-3.5-35B kao 'trace judge' 10–100× jeftiniji od frontier modela