arXiv: SciAgentArena — Benchmark misst, was KI-Agenten wirklich wissenschaftlich leisten können

Ein Konsortium von Forschern an fünf führenden Weltuniversitäten — Yale, Cornell, Harvard, MIT und Stanford — hat am 10. Juni 2026 eine Arbeit veröffentlicht, die SciAgentArena einführt, einen neuen Benchmark zur Messung der tatsächlichen Fähigkeiten von KI-Agenten bei der Lösung wissenschaftlicher Herausforderungen. Die Arbeit ist von Hauptautor Tianyu Liu und 32 Co-Autoren unterzeichnet, darunter Marinka Zitnik, James Zou und Hongyu Zhao.

Was misst SciAgentArena — und warum ist das wichtig?

Bisherige Benchmarks für KI-Agenten testen überwiegend die Leistung bei klar definierten Problemen mit bekannten Lösungen. Das ist nützlich, aber grundlegend begrenzt: Echte wissenschaftliche Forschung kommt selten im Paket mit einer gut spezifizierten Fragestellung, einem sauberen Datensatz und einer eindeutigen Evaluierungsmethode.

SciAgentArena versucht, diese Lücke zu schließen. Der Benchmark enthält rund 200 Aufgaben aus vielfältigen wissenschaftlichen Disziplinen, die darauf ausgelegt sind, genuines Forschungsdenken (engl. research-level reasoning) zu sondieren — nicht nur die Fähigkeit, bekannte Protokolle auf bekannte Daten anzuwenden. Die Aufgaben erfordern domänenübergreifendes Schlussfolgern, Werkzeugnutzung und Urteilsvermögen über die wissenschaftliche Gültigkeit von Schlussfolgerungen.

Wo Agenten erfolgreich sind und wo sie scheitern

Der zentrale Befund der Arbeit ist eine klare Leistungsasymmetrie:

Agenten funktionieren gut, wenn die Aufgabenstruktur klar ist — d. h. bei klar spezifizierten Datenanalyse-Workflows (engl. well-specified data-analysis workflows). Wenn der Agent weiß, was zu tun ist und in welcher Reihenfolge, sind die Ergebnisse adäquat.

Agenten zeigen erhebliche Schwächen genau dort, wo echte Forschung beginnt:

• Generierung neuer Erkenntnisse (engl. novel insights) — die Fähigkeit, aus Daten Schlüsse zu ziehen, die nicht explizit angefordert wurden
• Eigenständige Exploration (engl. independent exploration) — autonome Bewegung durch den Hypothesenraum ohne externe Navigation
• Offene Forschungsfragen (engl. open-ended research questions) — Situationen, in denen selbst Forscher im Voraus nicht wissen, was die „richtige” Antwort ist

Die fundamentale Natur dieses Unterschieds

Die Autoren betonen, dass die Leistung in verschiedenen wissenschaftlichen Domänen inkonsistent bleibt. Ein Agent, der sich in bioinformatischer Analyse bewährt, kann in physikalischen oder chemischen Problemen ganz andere Ergebnisse zeigen — was darauf hindeutet, dass aktuelle Agenten keine allgemeinen Forschungsstrategien erlernen, sondern domänenspezifische Muster imitieren.

Das hat direkte Implikationen für die Ambitionen rund um autonome Forschungsagenten (engl. autonomous research agents) — Systeme, die eigenständig Hypothesen formulieren, Experimente planen und Ergebnisse interpretieren sollen. SciAgentArena quantifiziert, wie weit wir von diesem Ziel entfernt sind: Die theoretischen Fähigkeiten der Modelle und ihre praktische autonome Forschungsleistung stimmen nicht so überein, wie man sich erhofft.

Mögliche Verbesserungsrichtungen

Die Autoren identifizieren häufige Fehlermuster (engl. common failure modes) und skizzieren drei Verbesserungsrichtungen:

1. Zuverlässigkeit (engl. reliability) — Reduzierung der Varianz zwischen Versuchen bei derselben Aufgabe
2. Autonomie (engl. autonomy) — Verringerung der Abhängigkeit von expliziten Anweisungen bei der Navigation im Forschungsraum
3. Wissenschaftliches Schlussfolgern (engl. scientific reasoning) — Entwicklung von Fähigkeiten, die über Mustererkennung hinausgehen und zu genuiner Deduktion und Abduktion führen

Offener Zugang zu Daten und Aufgaben

Der Benchmark ist auf Reproduzierbarkeit ausgelegt. Vollständiger Code, Aufgaben und Datensätze sind auf sciagentarena.github.io verfügbar, was Forschern den direkten Vergleich neuer Systeme mit den im Paper beschriebenen Ergebnissen ermöglicht. Das ist ein wichtiger Schritt: Ohne standardisierten Benchmark ist es schwer, Fortschritte zu verfolgen und die Behauptungen verschiedener Forschungsgruppen über die Fähigkeiten ihrer Agenten zu vergleichen.

Die Arbeit ist auf arXiv unter der Kennung 2606.12736 verfügbar.