arXiv:2606.17005: Bayesscher Rahmen für Audits zeigt, dass KI-Bestenlisten unvereinbare Historien verbergen

Ein neues Preprint präsentiert einen Bayesschen Auditrahmen für Evaluierungsbestenlisten und warnt, dass öffentliche KI-Ranglisten gegenseitig unvereinbare Narrationen über Fortschritt verbergen können.

Welches Problem deckt die Studie auf?

Der Autor zeigt, dass ein einzelner finaler Bestenlisten-Schnappschuss mit 1.000 Systemen mit mehreren unvereinbaren historischen Entwicklungspfaden kompatibel ist. Mit anderen Worten: Dieselbe aktuelle Rangliste kann aus sehr unterschiedlichen Entwicklungsverläufen entstehen — mit Konvergenzzeiten zu gegebenen Leistungsschwellen von nur 23 Schritten in einem Szenario bis zu 75 in einem anderen. Damit wird das Ziehen von Schlüssen über das Tempo des Fortschritts aus nur dem letzten Bestenlisten-Zustand in Frage gestellt.

Auf welchen Daten basiert die Analyse?

Die Studie stützt sich auf archivierte Daten aus fünf bekannten Evaluierungsquellen: LiveBench, Open LLM Leaderboard v2, LMArena, GAIA und tau-bench. Auf dieser Grundlage legt der Autor Risiken selektiver Berichterstattung und nachträglicher Benchmark-Revisionen offen, die die Wahrnehmung von Fortschritt verzerren können.

Was schlägt der Autor vor?

Die vorgeschlagene Lösung ist ein Archive-and-Adjudication-Protokoll — systematische Archivierung von Bestenlisten-Zuständen und deren nachträgliche Beurteilung zur Rekonstruktion der Bewertungshistorie und Zurückweisung unsubstantiierter Behauptungen über Frontier-Modelle. Der Vorschlag ist direkt relevant für die Anforderungen des EU-KI-Gesetzes an Transparenz und Drittprüfung von Frontier-Modellen.