arXiv: SciAgentArena — benchmark koji mjeri koliko AI agenti stvarno znaju raditi znanost

Konzorcij istraživača s pet vodećih svjetskih sveučilišta — Yalea, Cornella, Harvarda, MIT-a i Stanforda — objavio je 10. lipnja 2026. rad koji uvodi SciAgentArenu, novi benchmark dizajniran da izmjeri stvarne sposobnosti AI agenata u rješavanju znanstvenih izazova. Rad potpisuju vodeći autor Tianyu Liu i još 32 suautora, uključujući Marinku Zitnik, Jamesa Zoua i Hongyu Zhaoa.

Što SciAgentArena mjeri — i zašto je to važno?

Dosadašnji benchmarci za AI agente uglavnom testiraju performanse na jasno definiranim problemima s poznatim rješenjima. Ovo je korisno, ali fundamentalno ograničeno: pravo znanstveno istraživanje rijetko dolazi u paketu s dobro specificiranim pitanjem, čistim skupom podataka i jednoznačnom metodom evaluacije.

SciAgentArena pokušava premostiti ovaj jaz. Benchmark sadrži oko 200 zadataka iz raznolikih znanstvenih disciplina, dizajniranih da sonde genuino istraživačko rezoniranje (engl. research-level reasoning) — ne samo sposobnost primjene poznatih protokola na poznate podatke. Zadaci zahtijevaju višedomensko zaključivanje, upotrebu alata i prosudbu o znanstvenoj valjanosti zaključaka.

Gdje agenti uspijevaju, a gdje posrću

Ključni nalaz rada jest jasna asimetrija u performansama:

Agenti funkcioniraju dobro kada je struktura zadatka jasna — to jest, u dobro specificiranim radnim tokovima analize podataka (engl. well-specified data-analysis workflows). Kada agent zna što treba napraviti i kojim redoslijedom, rezultati su adekvatni.

Agenti pokazuju značajne slabosti upravo tamo gdje počinje pravo istraživanje:

• Generiranje novih uvida (engl. novel insights) — sposobnost da se iz podataka izvuče zaključak koji nije bio eksplicitno tražen
• Neovisno istraživanje (engl. independent exploration) — autonomno kretanje kroz prostor hipoteza bez vanjske navigacije
• Otvorena istraživačka pitanja (engl. open-ended research questions) — situacije u kojima ni sami istraživači unaprijed ne znaju što je “točan” odgovor

Fundamentalna priroda te razlike

Autori naglašavaju da performanse ostaju nedosljedne kroz različite znanstvene domene. Agent koji se dobro snalazi u bioinformatičkoj analizi može pokazati sasvim drugačije rezultate u problemima iz fizike ili kemije — što sugerira da trenutni agenti ne uče opće istraživačke strategije, nego imitiraju obrasce specifične za domenu.

Ovo ima direktne implikacije za ambicije oko autonomnih istraživačkih agenata (engl. autonomous research agents) — sustava koji bi trebali neovisno formulirati hipoteze, planirati eksperimente i interpretirati rezultate. SciAgentArena kvantificira koliko smo daleko od tog cilja: teorijske sposobnosti modela i njihova praktična autonomna istraživačka učinkovitost ne podudaraju se onoliko koliko bismo željeli.

Mogući smjerovi poboljšanja

Autori identificiraju zajedničke načine pada (engl. common failure modes) i naznačuju tri smjera za poboljšanje:

1. Pouzdanost (engl. reliability) — smanjenje varijance između pokušaja u istom zadatku
2. Autonomija (engl. autonomy) — smanjenje ovisnosti o eksplicitnim uputama pri navigaciji istraživačkim prostorom
3. Znanstveno zaključivanje (engl. scientific reasoning) — razvoj sposobnosti koja nadilazi paternsko prepoznavanje i ide prema genuinoj dedukciji i abdukciji

Otvoreni pristup podacima i zadacima

Benchmark je dizajniran za reproducibilnost. Kompletan kod, zadaci i skupovi podataka dostupni su na sciagentarena.github.io, što istraživačima omogućuje direktno uspoređivanje novih sustava s rezultatima opisanim u radu. Ovo je bitan korak: bez standardiziranog benchmarka teško je pratiti napredak i uspoređivati tvrdnje različitih istraživačkih grupa o sposobnostima njihovih agenata.

Rad je dostupan na arXiv-u pod identifikatorom 2606.12736.