Anthropic: VirBench benchmark i alat gget virus povećavaju točnost AI agenata u biologiji na 99,7%
VirBench je novi benchmark s 120 realnih upita za dohvaćanje virusnih sekvenci kroz 40 patogena, koji Anthropic uvodi kao standard za evaluaciju bioloških AI agenata. Bez specijaliziranih alata, SOTA modeli postizali su 16,9–91,3% točnosti; s alatom gget virus GPT-5.5 dostiže 99,7%.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Anthropicovi istraživači objavili su 8. lipnja 2026. rad Paving the way for agents in biology (vodeća autorica Laura Luebbert, uz koautore Ferdous Nasri, Saru Gurev, Patricka Varillyja i druge). Rad, dostupan i kao arXiv preprint (arXiv:2606.06749), propituje temeljni problem primjene AI agenata u biologiji: reproducibilnost dohvaćanja podataka iz javnih baza.
VirBench: novi standard za evaluaciju bioloških agenata
VirBench je skup od 120 realnih bioinformatičkih upita oblikovanih oko 40 patogena, svaki s provjerenim točnim skupom virusnih sekvenci iz NCBI baza podataka. Za razliku od sintetičkih testova, VirBench oponaša stvarne istraživačke scenarije — od identifikacije referentnih sojeva do usporedbe genoma epidemijski relevantnih virusa.
Zašto su greške u dohvaćanju sekvenci opasne?
Netočni ulazni skupovi sekvenci kaskadno kvare sve daljnje analize. Istraživači su dokumentirali konkretan slučaj: pogrešno dohvaćene sekvence za jedan patogen davale su datume podrijetla epidemije u rasponu od 1922. do travnja 2014. — nasuprot provjerenom siječnju 2014. K tome, isti model pokrenuti više puta na isti upit vraćao je različite skupove sekvenci, čime se eliminira reproducibilnost istraživanja.
Bez alata vs. s alatom: od 16,9% do 99,7%
Bez specijaliziranih alata, SOTA modeli postizali su svega 16,9–91,3% točnosti na NCBI Virus upitima — daleko ispod ~100% potrebnih za reproducibilnu biologiju. Novi alat gget virus, razvijen u suradnji s NCBI istraživačima, donosi determinističku API koordinaciju i složeno filtriranje sekvenci prema taksonomiji, datumu i soju. S njim točnost raste iznad 90% za sve ispitane modele i dostiže 99,7% za GPT-5.5.
Context engines kao infrastrukturni odgovor
Rad zagovara uvođenje context enginea — determinističkih, agentima dostupnih API slojeva koji razdvajaju dohvaćanje podataka od kreativnog zaključivanja modela. Biološke baze poput NCBI-ja sadrže goleme strukturirane skupove podataka, no bez posredničkog sloja agenti ih tumače nedeterministički i bez jamstva reproducibilnosti. Autori pozivaju na izgradnju takvih slojeva kao javne infrastrukture za pouzdanu bioinformatiku.
Česta pitanja
- Što je VirBench i za što se koristi?
- VirBench je skup od 120 bioinformatičkih upita koji mjeri sposobnost AI modela da točno dohvate virusne sekvence iz NCBI baza kroz 40 različitih patogena, s provjerenim točnim odgovorima.
- Što je context engine u biologiji prema Anthropicovom istraživanju?
- Context engine je deterministički API sloj koji razdvaja dohvaćanje podataka od kreativnog zaključivanja modela, osiguravajući reproducibilnost rezultata za AI agente u biološkim istraživanjima.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.
Povezane vijesti
arXiv:2607.13034: E3 okvir — agenti procjenjuju složenost zadatka i troše 91% manje tokena
arXiv:2607.12463: funkcijski svjestan FIM mid-trening podiže coding-agente do +5,4 na SWE-Benchu
arXiv:2607.12385: PM-Bench mjeri 'prospektivnu memoriju' agenata — najbolji GPT-5.4 tek 65,1% F1