arXiv: CODA-BENCH zeigt, dass führende Agenten nur 61,1 % bei Code-und-Daten-Aufgaben erreichen

Eine Forschergruppe der Renmin University of China — Yuxin Zhang, Ju Fan, Meihao Fan, Shaolei Zhang und Xiaoyong Du — hat CODA-BENCH vorgestellt, den ersten Benchmark, der die Fähigkeit von KI-Agenten zur Codegenerierung und Datensuche in einer Datenumgebung gleichzeitig evaluiert. Die Arbeit wurde auf der ICML 2026 angenommen und adressiert eine klare Lücke in bisherigen Evaluierungsrahmen für Agenten, die autonome Ingenieure sein wollen.

Die Lücke zwischen code-zentrierten und datenzentrierten Tests

Bisherige Benchmarks für KI-Agenten wählten in der Regel eine von zwei Dimensionen: Entweder testeten sie die Fähigkeit zur Codegenerierung (der Agent schreibt ein Programm, das eine Aufgabe löst) oder die Fähigkeit zur Arbeit mit Daten (der Agent sucht und analysiert Informationen in einem Datensatz). Eine reale Entwicklungsumgebung kennt diese komfortable Trennung nicht. Ein Ingenieur, der ein analytisches Problem löst, muss zunächst relevante Daten in einer komplexen Dateistruktur finden, das Schema verstehen und erst dann Code schreiben und iterativ verbessern, der diese Daten nutzt. CODA-BENCH ist darauf ausgelegt, genau diese kombinierte Fähigkeit zu testen — und die Ergebnisse zeigen, dass dies deutlich schwieriger ist, als isolierte Benchmarks nahelegten.

Warum ist die Integration dieser Fähigkeiten besonders anspruchsvoll?

Das Problem ist aus mehreren sich gegenseitig verstärkenden Gründen nicht trivial. Zunächst ist der Datenraum riesig und unstrukturiert: Der Agent muss Dateihierarchien aktiv erkunden und ableiten, welche Daten für die Aufgabe relevant sind, ohne explizite Hinweise auf den Speicherort. Dann muss er das Datenschema ableiten — Spaltentypen, Formate, Kodierungen — was bei realen Datensätzen nicht immer offensichtlich oder konsistent ist. Schließlich wird Code, der auf falschen Schemaannahmen basiert, wahrscheinlich nicht ausgeführt oder falsche Ergebnisse liefern, und der Agent muss in einer Umgebung mit begrenztem Feedback iterativ debuggen. Jeder dieser drei Schritte bringt unabhängige Fehlerquellen ein, die sich in der kombinierten Aufgabe multiplizieren — nicht addieren.

Realistisches Sandbox: Kaggle, 31 Communities, 980 Dateien

Die Autoren konstruieren eine Linux-Sandbox basierend auf dem Kaggle-Ökosystem mit Hunderten von Datensätzen. Jede Umgebung enthält im Durchschnitt 980 Dateien, was die reale Skala und das Informationsrauschen simuliert, dem ein Agent in echten Entwicklungsumgebungen begegnet. Der Benchmark umfasst 1.009 Aufgaben in 31 Aufgaben-Communities und deckt verschiedene Bereiche der Datenanalyse ab. Agenten müssen die Dateistruktur aktiv erkunden, um relevante Daten zu lokalisieren, und dann Analysecode schreiben und ausführen, der der spezifizierten Aufgabe entspricht.

Führende Agenten erreichen nur 61,1 % Erfolgsrate

Die Evaluierung fortgeschrittener Agenten auf CODA-BENCH zeigt eine klare Einschränkung: Selbst Top-Systeme erreichen eine Erfolgsrate von nur 61,1 %. Dies liegt deutlich unter der Performance, die dieselben Systeme auf isolierten Benchmarks für Codierung oder Datenarbeit erzielen, was bestätigt, dass die Integration beider Fähigkeiten — nicht deren Summe — die grundlegende Herausforderung ist. Für Aufgaben, die sowohl Datenfindung als auch Codegenerierung erfordern, scheitern selbst State-of-the-Art-Agenten in fast 4 von 10 Fällen. Die Autoren betonen, dass dieses Ergebnis kein Problem eines spezifischen Modells oder einer Architektur ist, sondern eine systematische Lücke in der Art widerspiegelt, wie aktuelle Agenten Suche und Codierung integrieren.

Drei Fehlerklassen und künftige Forschung

Die Autoren identifizieren drei primäre Fehlerklassen, die in Fehlerfällen dominieren. Erste: Datei-Entdeckung — der Agent findet relevante Daten nicht innerhalb komplexer Hierarchien, besonders wenn relevante Ressourcen an unerwarteten Orten liegen oder unkonventionelle Namen haben. Zweite: Schema-Inferenz — der Agent schlussfolgert die Datenstruktur falsch (Spaltentypen, Formate oder Kodierungen), was zu Code führt, der nicht ausgeführt wird oder falsche Ergebnisse produziert. Dritte: Iteratives Debugging unter Datenbeschränkungen — der Agent ist nicht in der Lage, Code effektiv zu testen und zu korrigieren, wenn Rückmeldungen aus der Umgebung langsam, partiell oder erst nach langer Ausführung eintreffen.

Die Annahme auf der ICML 2026, einer der einflussreichsten Konferenzen für maschinelles Lernen, bestätigt, dass die akademische Gemeinschaft diese Art von Benchmark-Lücke als wichtigen Forschungsbeitrag anerkennt. CODA-BENCH setzt zusammen mit den identifizierten Fehlerklassen konkrete Ziele für zukünftige Systeme: Agenten, die in echten Entwicklungsumgebungen nützlich sein wollen, müssen lernen, Dateistrukturen zu erkunden, Datenschemata abzuleiten und ihren eigenen Code unter Unsicherheit zu debuggen — alles gleichzeitig.