arXiv:2605.02503: DataClaw — process-level benchmark mjeri kvalitetu procesa AI agenata u eksplorativnoj data analizi

DataClaw uvodi novu vrstu benchmarka koji mjeri sposobnost AI agenata za obavljanje eksplorativnih analiza podataka u realnim uvjetima.

EDA (Exploratory Data Analysis) je eksplorativna analiza podataka, faza istraživanja u kojoj analitičar ili agent otkriva strukturu, anomalije i hipoteze u skupu podataka prije formalnog modeliranja.

Što DataClaw mjeri drugačije?

Za razliku od postojećih benchmarkova koji mjere samo je li finalni odgovor točan, DataClaw evaluira cijeli proces: odabir analitičkih metoda, interpretaciju međurezultata, prepoznavanje grešaka i prilagodbu strategije tijekom rada.

Autori (Zhang et al.) argumentiraju da task-level metrike “skrivaju” kritične slabosti agenata koji stižu do točnih odgovora pogrešnim putem.

Zašto je proceduralna ispravnost važna?

Točan odgovor postignut pogrešnim koracima je problem u domenama gdje proceduralna ispravnost ima regulatornu važnost — primjerice u medicini i financijama, gdje revizori i nadzorna tijela traže transparentan i obrazloživ tijek odlučivanja, a ne samo numerički rezultat.

Ako agent zaključi ispravno na temelju pogrešno odabrane statističke metode, takav rezultat je ranjiv na promjenu ulaznih podataka i teško ga je obraniti pred regulatorom.

Što benchmark sadrži?

DataClaw uključuje realne podatkovne zadatke iz više domena i pruža framework za granularnu evaluaciju svakog koraka analize, što istraživačima daje alat za usporedbu agenata po kvaliteti razmišljanja, a ne samo po finalnoj točnosti.

Rad ulazi u rastuću skupinu istraživanja koja LLM agente tretiraju kao radne suradnike s ispitivim postupcima, a ne samo kao crne kutije s ulazom i izlazom.