Zwei KI-Metriken divergierten – wird das den entscheidenden Unterschied machen?

Werden die leistungsfähigsten KI-Systeme reichen Konzernen und Regierungen vorbehalten bleiben, oder werden sie mit der Zeit für alle zugänglich sein? Das ist eine der grundlegenden Policy-Fragen der modernen KI-Entwicklung – und laut einer neuen Studie lautet die Antwort weder „ja” noch „nein”. Die Antwort lautet: Es kommt darauf an, was man misst.

Die Arbeit „Two AI Metrics Diverged: Will it Make All the Difference?” von Alex Fogelison, Zachary Brown, Hans Gundlach, Jayson Lynch und Neil Thompson vom MIT und der Northwestern University, angenommen beim ICML 2026 Technical AI Governance Research Workshop, bietet eine mathematische Analyse mit weitreichenden Implikationen für Regulatoren, Forscher und alle, die versuchen, die Zukunft der KI vorherzusagen.

Kann dieselbe Technologie gleichzeitig demokratisieren und Fähigkeiten konzentrieren?

Die Antwort der Forscher ist eindeutig: Sie kann es, und genau das geschieht – je nachdem, welchen Benchmark man betrachtet.

Der Validation Loss, das Standardmaß für Modellfehler, das täglich in der KI-Forschung verwendet wird, zeigt eine Konvergenz zwischen kleineren und größeren Modellen mit wachsenden Rechenressourcen. Kleinere Modelle holen zu größeren auf. Dies ist ein Signal, das das Demokratisierungsnarrativ begünstigt – das Argument, dass fortschrittliche KI für einen breiteren Kreis von Akteuren immer zugänglicher wird.

Allerdings zeigen andere Fähigkeitsmesssets – Benchmarks, die konkrete Aufgaben wie Programmieren, Schlussfolgern oder persuasives Schreiben testen – Divergenz. Frontier-Modelle, wie sie in großen Labors mit Milliarden von Dollar Compute entwickelt werden, holen nicht nur mit kleineren Modellen mit, sondern vergrößern ihren Vorsprung zunehmend.

Beide Befunde gelten gleichzeitig. Das Paradox ist nicht zufällig – es ergibt sich aus der mathematischen Struktur der Metriken selbst.

Taxonomie der Metriken: begrenzte versus unbegrenzte

Der zentrale Beitrag der Arbeit ist eine formale mathematische Taxonomie von Messinstrumenten nach ihrer funktionalen Form in Bezug auf Rechenkosten.

Die Autoren beweisen, dass begrenzte (bounded) Metriken – solche mit einer mathematischen Obergrenze – konsistent Zugänglichkeit begünstigen. Wenn große Modelle sich dem Maximalwert nähern, können kleinere Modelle mit dramatisch weniger Ressourcen mithalten. Der Validation Loss ist eine solche Messgröße.

Dagegen begünstigen unbegrenzte Metriken – solche, die ohne Obergrenze wachsen können – die Konzentration bei Akteuren mit enormen Ressourcen. Während ein Modell auf einem Benchmark 100 erreicht, kann ein anderes mit mehr Ressourcen 1.000 oder 10.000 erreichen. Die Lücke schrumpft nicht, sondern wächst.

Dies ist keine rein theoretische Kuriosität. Die Wahl des Benchmarks in Evaluierungsberichten, Regulierungsvorschlägen und öffentlichen Studien bestimmt direkt, welchen Schluss man zieht – selbst wenn man dieselben Modelle bei denselben Aufgaben betrachtet.

Policy-Implikationen: Die Debatte ist teilweise ein Messartefakt

Die Forscher betonen insbesondere Domänen wie Softwareentwicklung, synthetische Biologie und rhetorische Überzeugungskraft als Beispiele, bei denen derselbe Fortschritt bei Frontier-Modellen wie Demokratisierung oder Konzentration aussehen kann – je nachdem, ob die relevante Fähigkeit in dieser Domäne mathematisch begrenzt ist oder nicht.

Das hat direkte Implikationen für Regulatoren, die Policy auf der Grundlage von „ist die KI-Fähigkeit für kleine Akteure zugänglich” entwickeln. Wenn eine begrenzte Metrik verwendet wird, wird der Schluss sein: ja. Wenn eine unbegrenzte Metrik verwendet wird, wird der Schluss das Gegenteil sein.

Debatten über Demokratisierung versus Konzentration von KI sind teilweise ein Artefakt des Messinstruments, kein Spiegelbild des tatsächlichen Stands der Technologie.

Die Arbeit fordert die Forschungsgemeinschaft auf, bei Policy-Schlüssen die funktionale Form der verwendeten Metriken explizit zu identifizieren – und sich bewusst zu sein, dass ein Benchmark, der für den Modellvergleich innerhalb eines Labors geeignet ist, möglicherweise nicht für die Vorhersage gesellschaftlicher Ergebnisse der KI-Entwicklung geeignet ist.

Für Forscher und Policy-Maker, die KI-Regulierung verfolgen, ist dies das Argument, dass kein einzelner Benchmark als einziger Indikator bei Entscheidungen über Zugänglichkeit oder Fähigkeitskonzentration verwendet werden sollte – denn hinter jedem solchen Schluss verbirgt sich eine mathematische Annahme, die von der Intuition völlig verschieden sein kann.