arXiv: CODA-BENCH otkriva da vodeći agenti postižu samo 61,1 % na zadacima koji kombiniraju kod i podatke

Skupina istraživača s Renmin University of China — Yuxin Zhang, Ju Fan, Meihao Fan, Shaolei Zhang i Xiaoyong Du — predstavila je CODA-BENCH, prvi benchmark koji istovremeno evaluira sposobnost AI agenata u generiranju koda i pretraživanju podataka unutar podatkovnog okruženja. Rad je prihvaćen na ICML 2026 i adresira jasnu prazninu u dosadašnjim evaluacijskim okvirima za agente koji nastoje biti autonomni inženjeri.

Praznina između code-centric i data-centric testova

Dosadašnji benchmarci za AI agente uglavnom su birali jednu od dvije dimenzije: ili su testirali sposobnost generiranja koda (agent piše program koji rješava zadatak), ili su testirali sposobnost rada s podacima (agent pretražuje i analizira informacije u skupu podataka). Realno razvojno okruženje nema tu luksuznu podjelu. Inženjer koji rješava analitički problem mora najprije pronaći relevantne podatke unutar složene strukture datoteka, razumjeti shemu, a tek zatim napisati i iterativno poboljšati kod koji te podatke koristi. CODA-BENCH je dizajniran da testira upravo ovaj kombinirani skup sposobnosti — i rezultati otkrivaju da je to znatno teže nego što je ijedan od izoliranih benchmarkova sugerirao.

Zašto je integracija tih sposobnosti posebno zahtjevna?

Problem nije trivijalan iz nekoliko međusobno pojačavajućih razloga. Najprije, podatkovni prostor je ogroman i nestrukturiran: agent mora aktivno istraživati hijerarhije datoteka i deducirati koji su podaci relevantni za zadatak, bez eksplicitnih uputa o lokaciji. Zatim mora zaključiti shemu podataka — tipove stupaca, formate, kodiranja — što u stvarnim skupovima podataka nije uvijek evidentno ni konzistentno. Konačno, kod koji agent napiše na temelju pogrešnih pretpostavki o shemi vjerojatno se neće izvršiti ili će dati krive rezultate, a agent mora iterativno debagirati u okruženju s ograničenim povratnim informacijama. Svaki od ova tri koraka unosi neovisne izvore greške koji se u kombiniranom zadatku multipliciraju, a ne zbrajaju.

Realistični sandbox: Kaggle, 31 zajednica, 980 datoteka

Autori konstruiraju Linux sandbox temeljen na Kaggle ekosustavu koji sadrži stotine skupova podataka. Svako okruženje u prosjeku sadrži 980 datoteka, što simulira realnu skalu i informacijski šum koji agent susreće u pravim razvojnim okruženjima. Benchmark obuhvaća 1 009 zadataka raspoređenih u 31 zajednicu zadataka, pokrivajući raznovrsne domene podatkovne analize. Agenti moraju aktivno istraživati strukturu datoteka kako bi locirali relevantne podatke, a zatim pisati i izvršavati analitički kod koji odgovara specificiranom zadatku. Ova kombinacija — velika skala podataka, neizvjesna lokacija relevantnih resursa i potreba za generiranjem koda koji zaista radi — čini CODA-BENCH sustavno zahtjevnijim od dosadašnjih benchmarkova koji su te dimenzije testirali odvojeno.

Vodeći agenti dosežu samo 61,1 % uspjeha

Evaluacija naprednih agenata na CODA-BENCHu otkriva jasno ograničenje: čak i top-performing sustavi postižu stopu uspjeha od samo 61,1 %. Ovo je značajno ispod performansi koje isti sustavi ostvaruju na izoliranim benchmarkovima za kodiranje ili za rad s podacima, što potvrđuje da je integracija dviju sposobnosti — a ne njihov zbroj — temeljni izazov. Za rješavanje zadataka koji zahtijevaju i pronalazak podataka i generiranje koda, čak i state-of-the-art agenti griješe u gotovo 4 od 10 slučajeva. Autori naglašavaju da ovaj rezultat nije problem specifičnog modela ili arhitekture, već odraz sustavne rupe u načinu na koji trenutni agenti integriraju pretraživanje i kodiranje.

Tri klase neuspjeha i buduća istraživanja

Autori identificiraju tri primarne klase neuspjeha koje dominiraju greškovnim slučajevima. Prva je otkrivanje datoteka: agent ne pronalazi relevantne podatke unutar složene hijerarhije, posebno kad se relevantni resursi nalaze u neočekivanim lokacijama ili imaju nekonvencijalna imena. Druga je inferencija sheme: agent pogrešno zaključuje strukturu podataka — tipove stupaca, formate ili kodiranja — što vodi ka kodu koji se ne izvršava ili producira netočne rezultate. Treća je iterativno debagiranje pod ograničenjima podataka: agent nije u stanju efektivno testirati i ispraviti kod kada mu povratne informacije iz okruženja dolaze sporo, parcijalno ili tek nakon dugog izvođenja.

Prihvaćanje na ICML 2026, jednoj od najutjecajnijih konferencija za strojno učenje, potvrđuje da akademska zajednica ovaj tip benchmark praznine prepoznaje kao važan istraživački doprinos. CODA-BENCH zajedno s identificiranim klasama neuspjeha postavlja konkretne ciljeve za buduće sustave: agenti koji žele biti korisni u stvarnim razvojnim okruženjima moraju naučiti istraživati datotečne strukture, zaključivati o shemama podataka i debagirati vlastiti kod u uvjetima neizvjesnosti — sve istovremeno.