arXiv:2605.02503: DataClaw — prozessorientierter Benchmark misst die Arbeitsqualität von KI-Agenten in der explorativen Datenanalyse

DataClaw führt eine neue Art von Benchmark ein, der die Fähigkeit von KI-Agenten zur explorativen Datenanalyse unter realen Bedingungen misst.

EDA (Explorative Datenanalyse) ist die Forschungsphase, in der ein Analyst oder Agent Struktur, Anomalien und Hypothesen in einem Datensatz aufdeckt, bevor ein formales Modell erstellt wird.

Was misst DataClaw anders?

Im Gegensatz zu bestehenden Benchmarks, die nur messen, ob das Endergebnis korrekt ist, bewertet DataClaw den gesamten Prozess: die Wahl der Analysemethoden, die Interpretation von Zwischenergebnissen, die Fehlererkennung und die Strategieanpassung während der Arbeit.

Die Autoren (Zhang et al.) argumentieren, dass aufgabenbezogene Metriken kritische Schwächen von Agenten „verbergen”, die korrekte Antworten auf falschem Weg erzielen.

Warum ist prozedurale Korrektheit wichtig?

Eine korrekte Antwort, die über fehlerhafte Schritte erreicht wurde, ist ein Problem in Bereichen, in denen prozedurale Korrektheit regulatorische Bedeutung hat — etwa in der Medizin und im Finanzwesen, wo Prüfer und Aufsichtsbehörden einen transparenten und nachvollziehbaren Entscheidungsweg verlangen, nicht nur ein numerisches Ergebnis.

Wenn ein Agent die richtige Schlussfolgerung auf Basis einer falsch gewählten statistischen Methode zieht, ist dieses Ergebnis bei veränderten Eingabedaten anfällig und schwer vor Regulatoren zu verteidigen.

Was enthält der Benchmark?

DataClaw umfasst reale Datenaufgaben aus mehreren Domänen und bietet ein Framework zur granularen Bewertung jedes Analyseschritts, das Forschern ein Werkzeug gibt, Agenten nach Denkqualität statt nur nach Endgenauigkeit zu vergleichen.

Die Arbeit schließt sich einer wachsenden Forschungsgruppe an, die KI-Agenten als rechenschaftspflichtige Mitarbeiter mit prüfbaren Verfahren betrachtet — nicht als Blackboxen mit Ein- und Ausgabe.