arXiv:2607.08093: CausalDS — novi benchmark koji mjeri kauzalno zaključivanje AI agenata u data-science zadacima

Rad “CausalDS: Benchmarking Data-Science Agents on Causal Reasoning” (arXiv:2607.08093), autora Lebana i Suna, predstavlja novi benchmark za jednu od najtežih sposobnosti AI agenata — kauzalno zaključivanje. Autonomni data-science agenti sve češće samostalno provode analize, ali dosadašnji testovi uglavnom mjere izvršava li agent korake ispravno, a ne razumije li što ti koraci znače.

Zašto je razlika uzroka i korelacije ključna?

Jezični modeli uče iz statističkih obrazaca u podacima, a temeljno pravilo statistike glasi da korelacija ne implicira uzročnost. Agent koji dvije istovremeno rastuće veličine proglasi uzročno povezanima može donijeti pogrešnu poslovnu preporuku — primjerice, pripisati rast prodaje kampanji koja je slučajno tekla u isto vrijeme kad i sezonski skok. CausalDS upravo tu vrstu pogreške stavlja u fokus evaluacije.

Što benchmark donosi

CausalDS popunjava prazninu u ocjenjivanju autonomnih analitičkih sposobnosti: umjesto da nagrađuje puko dovršavanje pipeline-a, testira izvodi li agent kauzalno valjane zaključke. To je izravno relevantno za poslovnu primjenu, gdje se na temelju analiza donose odluke, a pogrešno pripisan uzrok košta. Rad je preprint bez recenzije, pa vrijednost benchmarka tek treba potvrditi šira upotreba, ali smjer je jasan: pouzdanost agenata mjeri se i kvalitetom zaključivanja, ne samo brzinom izvršavanja.

Kontekst

CausalDS je dio šireg vala benchmarka iz srpnja 2026. koji autonomne agente ispituju na dubljim kognitivnim sposobnostima — od kauzalnosti do dosljednosti pod pritiskom. Kako agenti preuzimaju sve više stvarnog analitičkog rada, evaluacija se pomiče s “je li zadatak dovršen” na “je li zaključak ispravan”, što je zahtjevniji, ali korisniji standard.