arXiv:2605.06177: BioMedArena — Toolkit für biomedizinische KI-Agenten mit 147 Benchmarks und 75 Tools

Ein Forschungsteam der Universität Oxford und kooperierender Institutionen veröffentlichte am 7. Mai 2026 auf arXiv einen Beitrag über BioMedArena — ein Open-Source-Toolkit zum Aufbau und zur Evaluierung biomedizinischer KI-Agenten. Das Toolkit, Konfigurationen und aufgabenspezifische Traces sind auf GitHub verfügbar.

Welches Problem löst BioMedArena?

Die Autoren identifizieren einen „Per-Paper-Engineering-Tax”: Dieselben Modelle auf denselben Benchmarks liefern in verschiedenen Beiträgen unterschiedliche Ergebnisse aufgrund von Variationen in der Implementierung und im Tool-Register. Das erschwert den Vergleich von Fortschritten und verlangsamt die Entwicklung des Fachgebiets.

Wie ist das Toolkit strukturiert?

BioMedArena teilt die Evaluierungspipeline in sechs Schichten auf: Benchmark-Laden, Tool-Bereitstellung, Tool-Auswahl, Ausführungsmodus, Kontextverwaltung und Bewertung. Das System umfasst 147 biomedizinische Benchmarks und 75 Tools, organisiert in 9 funktionale Familien, mit 6 Agenten-Harnesses und 6 Kontextverwaltungsstrategien — was 12 konkurrierende Forschungs-Backbones ergibt.

Wie sind die Ergebnisse und wie wird es erweitert?

BioMedArena erzielt SOTA-Ergebnisse auf acht repräsentativen biomedizinischen Benchmarks mit einer durchschnittlichen Verbesserung von 15,03 Prozentpunkten gegenüber früheren Ansätzen. Das Hinzufügen eines neuen Modells, Benchmarks oder Tools reduziert sich auf die Registrierung eines kurzen Provider-Adapters von wenigen Codezeilen, was die Integration erleichtert und die Reproduzierbarkeit sicherstellt.