arXiv: ABC-Bench — KI-Agenten übertreffen Fachbiologen bei allen Biosicherheitsaufgaben

Ein Forscherteam hat ABC-Bench (Agentic Bio-Capabilities Benchmark) veröffentlicht — den ersten standardisierten Benchmark, der entwickelt wurde, um die Fähigkeiten von KI-Agenten bei biosicherheitsrelevanten Aufgaben systematisch zu messen. Die Autoren Andrew Bo Liu, Samira Nedungadi, Bryce Cai, Alex Kleinman, Harmon Bhasin und Seth Donoughe haben den Benchmark entwickelt, um eine kritische Lücke zu schließen: Bisher gab es kein empirisches Werkzeug zur Bewertung der Dual-Use-Risiken (engl. dual-use) von KI-Agenten in biologischer Forschung. Die 18-seitige Arbeit wurde auf dem ICML 2026 angenommen.

Drei Kategorien von Biosicherheitsaufgaben

ABC-Bench umfasst drei Aufgabenkategorien, die ausgewählt wurden, weil sie reale Kompetenzen abdecken, die bisher das Engagement erfahrener Biologen mit langjähriger Laborerfahrung erforderten:

1. Roboterprogrammierung für Flüssigkeitshandhabung — Agenten schreiben Skripte für automatisierte Laborgeräte, konkret für OpenTrons-Roboter-Pipetten. Die Aufgabe erfordert genaue Kenntnisse des Laborprotokolls und der Programmierschnittstelle (API) des Roboters.

2. Design von DNA-Fragmenten für die In-silico-Montage — Agenten entwerfen DNA-Fragment-Sequenzen für die computergestützte Montage spezifischer genetischer Konstrukte. Die Aufgabe kombiniert bioinformatisches und molekularbiologisches Wissen.

3. Umgehung von DNA-Synthese-Screening (engl. evading DNA synthesis screening) — Agenten versuchen, Sequenzen zu generieren, die die Sicherheitsfilter kommerzieller DNA-Syntheseanbieter passieren würden. Dies ist eine direkt biosicherheitsrelevante Kategorie mit klarer Missbrauchsdimension.

Können KI-Agenten Fachbiologen bei riskanten Aufgaben ersetzen?

Der Schlüsselbefund der ABC-Bench-Studie ist eindeutig: Alle getesteten LLM-Agenten übertrafen den medianen Fachbiologen bei allen drei Aufgabenkategorien. Die Autoren betonen, dass die Agenten besonders gut bei Aufgaben abschnitten, die auf veröffentlichtem Wissen und dokumentierten Protokollen beruhen — Bereichen, in denen Sprachmodelle einen strukturellen Vorteil dank des Umfangs der Daten haben, auf denen sie trainiert wurden.

Andererseits waren die Leistungen schwächer bei Aufgaben, die neue bioinformatische Schlussfolgerungen jenseits der bestehenden Literatur erfordern — Situationen, in denen ein erfahrener Forscher seinen auf experimenteller Arbeit basierenden Intuitionsvorteil behält.

Dieser Befund ist kein Argument für die Behauptung, dass KI Biologen im ganzheitlichen Sinne ersetzt. Er weist jedoch darauf hin, dass spezifische, hochriskante Kompetenzen — die bisher durch die Komplexität spezialisierten Wissens geschützt waren — jetzt über KI-Agenten verfügbar sind, die ohne formale akademische oder institutionelle Expertise operieren können.

Validierung im Nasslabor

Ein besonders wichtiger Aspekt der Studie ist die Nasslabor-Validierung (engl. wet-lab validation). Als das Modell OpenAI o4-mini-high Skripte für den OpenTrons-Roboter generierte, wurden diese Skripte in einer echten Laborumgebung getestet. Ergebnis: Die Skripte montierten DNA-Sequenzen erfolgreich mit den erwarteten Ergebnissen.

Diese Nasslabor-Bestätigung unterscheidet ABC-Bench von rein software-basierten Benchmarks. Es ging nicht nur um die theoretische Fähigkeit, biologisch korrekten Code zu generieren — es handelte sich um eine demonstrierte, physisch verifizierte Fähigkeit eines KI-Agenten, eine Laborprozedur mit greifbarem Ergebnis durchzuführen. Das hebt den Benchmark auf das Niveau eines echten, nicht nur hypothetischen Risikos.

Doppelte Verwendung und Implikationen für die Biosicherheitspolitik

Die Autoren positionieren ABC-Bench explizit im Rahmen der doppelten Verwendung (engl. dual-use): Dieselben Fähigkeiten, die legitimen Forschern helfen, experimentelle Protokolle zu beschleunigen, stellen auch potenzielle Missbrauchswege dar. Der Benchmark ist nicht darauf ausgelegt, ein Angriffswerkzeug zu schaffen — ganz im Gegenteil: Er ist dazu bestimmt, eine empirische Grundlage für die Risikobewertung zu schaffen.

Die Arbeit ist als Ressource für Verantwortliche der KI-Biosicherheitspolitik und Bewertungsgremien für KI-Systeme konzipiert. Ohne einen standardisierten, empirisch verifizierten Benchmark bleiben Richtlinien auf Annahmen über Modellfähigkeiten gestützt, anstatt auf gemessenen Daten. Die Veröffentlichung unter der CC-BY-4.0-Lizenz bedeutet, dass Forscher, Regulierungsbehörden und Sicherheitsteams von KI-Unternehmen ABC-Bench für eigene Evaluierungen frei nutzen und weiterentwickeln können.

ABC-Bench als Grundlage für künftige Evaluierungsstandards

ABC-Bench erscheint zu einem Zeitpunkt, an dem biosicherheitsrelevante Aspekte von KI-Systemen zunehmend die Aufmerksamkeit von Regulierungsbehörden auf sich ziehen. Die Arbeit bietet einen konkreten Evaluierungsrahmen, der zum Referenzpunkt für die Bewertung neuer Modelle und agentischer Systeme werden könnte.

Wenn KI-Agenten Fachbiologen bei Aufgaben mit Missbrauchspotenzial zuverlässig übertreffen können, dann sind Richtlinien, die ausschließlich auf der Beschränkung des Zugangs zu den Modellen selbst basieren, nicht ausreichend. Notwendig sind dynamische Prüfmechanismen, die Erkennung von Nutzerabsichten und eine strukturierte Zusammenarbeit zwischen KI-Unternehmen und auf Biosicherheit spezialisierten Institutionen.