arXiv: ABC-Bench — AI agenti nadmašuju stručne biologe na svim biosigurnosnim zadacima

Istraživački tim objavio je ABC-Bench (Agentic Bio-Capabilities Benchmark) — prvi standardizirani benchmark dizajniran za sustavno mjerenje sposobnosti AI agenata na zadacima relevantnim za biosigurnost. Autori Andrew Bo Liu, Samira Nedungadi, Bryce Cai, Alex Kleinman, Harmon Bhasin i Seth Donoughe razvili su benchmark kako bi ispunili kritičnu prazninu: do sada nije postojao empirijski alat za procjenu rizika dvostruke primjene (engl. dual-use) AI agenata u biološkim istraživanjima. Rad od 18 stranica prihvaćen je na ICML 2026.

Tri kategorije biosigurnosnih zadataka

ABC-Bench obuhvaća tri kategorije zadataka, odabranih jer pokrivaju stvarne kompetencije koje su prethodno zahtijevale angažman iskusnih biologa s višegodišnjim laboratorijskim iskustvom:

1. Programiranje robota za rukovanje tekućinama — agenti pišu skripte za automatiziranu laboratorijsku opremu, konkretno za OpenTrons robotske pipete. Zadatak zahtijeva precizno poznavanje laboratorijskog protokola i programskog sučelja (API-ja) robota.

2. Dizajn fragmenata DNA za in-silico montažu — agenti projektiraju sekvence DNA fragmenata za računalnu montažu specifičnih genetičkih konstrukata. Zadatak kombinira bioinformatičko i molekularno-biološko znanje.

3. Zaobilaženje provjere sinteze DNA (engl. evading DNA synthesis screening) — agenti pokušavaju generirati sekvence koje bi prošle kroz sigurnosne filtere komercijalnih pružatelja sinteze DNA. Ovo je izravno biosigurnosno relevantna kategorija s jasnom zlouporabnom dimenzijom.

Mogu li AI agenti zamijeniti stručne biologe na rizičnim zadacima?

Ključni nalaz ABC-Bench studije nedvosmislen je: svi testirani LLM agenti nadmašili su medijanskog stručnog biologa na svim trima kategorijama zadataka. Autori naglašavaju da su agenti osobito dobro performirali na zadacima koji se temelje na objavljenom znanju i dokumentiranim protokolima — područjima u kojima jezični modeli imaju strukturnu prednost zahvaljujući opsegu podataka na kojima su trenirani.

S druge strane, performanse su bile slabije na zadacima koji zahtijevaju novi bioinformatički zaključak izvan dosega postojeće literature — situacijama gdje iskusni istraživač zadržava prednost temeljenu na intuiciji stečenoj eksperimentalnim radom.

Ovaj nalaz nije argument za tvrdnju da AI zamjenjuje biologe u holističkom smislu. No on ukazuje da su specifične, visokorizične kompetencije — koje su dosad bile zaštićene složenošću specijalističkog znanja — sada dostupne putem AI agenata koji mogu operirati bez formalne akademske ili institucionalne ekspertize.

Validacija u mokrom laboratoriju

Posebno važan aspekt studije je mokrolaboratorijska validacija (engl. wet-lab validation). Kada je model OpenAI o4-mini-high generirao skripte za OpenTrons robot, te su skripte testirane u stvarnom laboratorijskom okruženju. Rezultat: skripte su uspješno montirale DNA sekvence s očekivanim rezultatima.

Ova mokrolaboratorijska potvrda razlikuje ABC-Bench od čisto softverskih benchmarkova. Nije se radilo samo o teorijskoj sposobnosti generiranja biološki ispravnog koda — radilo se o demonstriranoj, fizički verificiranoj sposobnosti AI agenta da provede laboratorijsku proceduru s opipljivim ishodom. To podiže benchmark na razinu stvarnog, a ne samo hipotetskog rizika.

Dvostruka primjena i implikacije za biosigurnosnu politiku

Autori eksplicitno postavljaju ABC-Bench unutar okvira dvostruke primjene (engl. dual-use): iste sposobnosti koje pomažu legitimnim istraživačima ubrzati eksperimentalne protokole predstavljaju i potencijalne puteve zlouporabe. Benchmark nije dizajniran da stvori alat za napad — upravo suprotno, namijenjen je stvaranju empirijskog temelja za procjenu rizika.

Rad je zamišljen kao resurs za kreatore AI biosigurnosne politike i tijela za evaluaciju AI sustava. Bez standardiziranog, empirijski verificiranog benchmarka politike ostaju temeljene na pretpostavkama o sposobnostima modela, umjesto na izmjerenim podacima. Objava pod licencijom CC BY 4.0 znači da istraživači, regulatori i sigurnosni timovi AI kompanija mogu slobodno koristiti i nadograđivati ABC-Bench za vlastite evaluacije.

ABC-Bench kao osnova za buduće evaluacijske standarde

ABC-Bench dolazi u trenutku kada biosigurnosni aspekti AI sustava privlače sve veću pozornost regulatora. Rad nudi konkretan evaluacijski okvir koji bi mogao postati referentna točka za procjenu novih modela i agentičnih sustava.

Ako AI agenti mogu pouzdano nadmašiti stručne biologe na zadacima s potencijalom zlouporabe, tada politike temeljene isključivo na ograničavanju pristupa samim modelima nisu dostatne. Potrebni su dinamički mehanizmi provjere, detekcija namjere korisnika i strukturirana suradnja između AI kompanija i institucija specijaliziranih za biosigurnost.