BioMysteryBench: Claude Mythos Preview löst bioinformatische Probleme, die selbst Experten nicht können – Opus 4.6 erreicht 77,4 % bei menschlich lösbaren Aufgaben

Anthropic veröffentlichte am 29. April 2026 BioMysteryBench, einen neuen Evaluierungsrahmen zur Beurteilung der bioinformatischen Fähigkeiten von KI-Modellen. Der Benchmark enthält 99 Aufgaben, die von Domänenexperten zusammengestellt wurden, verwendet unbereingte Daten aus echten Experimenten und bewertet Antworten anhand eines objektiven Ground Truth aus experimentellen Befunden. Der Ansatz zielt direkt auf drei Kernprobleme wissenschaftlicher Evaluierungen: die Zulassung unterschiedlicher methodologischer Ansätze, das Vorhandensein einer objektiven Antwort und die Möglichkeit, Probleme zu generieren, die Menschen selbst nicht lösen können.

Wie löst BioMysteryBench das Problem der Subjektivität?

Die meisten wissenschaftlichen Benchmarks messen nur, ob ein Modell mit dem wissenschaftlichen Konsens übereinstimmt – was keine Entdeckungen erlaubt. BioMysteryBench verfolgt einen methodenagnostischen Ansatz: Das Modell wählt seine eigenen Analysewerkzeuge, und das System überprüft die endgültige numerische oder kategorische Antwort gegen echte experimentelle Daten. Beispielaufgaben umfassen die Identifizierung eines menschlichen Organs aus einem Single-Cell-RNA-seq-Datensatz, die Erkennung von Genen, die in experimentellen Proben im Vergleich zu Kontrollproben ausgeschaltet wurden, sowie die Bestimmung von Verwandtschaftsverhältnissen aus Whole-Genome-Sequencing-Daten.

Welche Ergebnisse erzielen Claude-Modelle im Benchmark?

Bei 76 menschlich lösbaren Aufgaben erreicht Claude Opus 4.6 rund 77,4 % Genauigkeit, Sonnet 4.6 etwa 70 %. Bei 23 übermenschlichen Aufgaben – Fragen, die selbst ein Panel erfahrener Bioinformatiker nicht lösen konnte – erreicht Opus 4.6 23,5 %, während Mythos Preview 30 % löst. Mythos Preview führt zudem in der Kategorie der menschlich lösbaren Aufgaben. Anthropic stellt fest, dass die Zuverlässigkeit bei schwierigeren Problemen deutlich sinkt: Bei menschlich lösbaren Aufgaben gibt Opus 4.6 in mindestens 4 von 5 Versuchen in 86 % der Fälle die richtige Antwort, während diese Zahl bei übermenschlichen Aufgaben auf 44 % fällt – was darauf hindeutet, dass fast die Hälfte der Erfolge „spontan statt reproduzierbar“ auftritt.

Warum nennt Anthropic dies einen Wendepunkt?

Mythos Preview produziert wissenschaftliche Schlussfolgerungen, die Menschen bisher nicht aus identischen Daten ableiten konnten. Obwohl der Benchmark noch im Preview-Stadium ist („Anthropic/BioMysteryBench-preview“ auf Hugging Face), deutet das Ergebnis darauf hin, dass die KI nicht mehr nur ein Assistent ist, der bestehende Arbeitsabläufe beschleunigt, sondern Forschungsfragen, die ein menschliches Team nicht lösen kann, autonom beantworten kann. Anthropic lädt Forschende ein, das Modell über das Portal claude.com/lifesciences für eigene Analysen zu nutzen. Autorin des Beitrags ist Brianna aus dem Discovery-Team.