arXiv:2605.30434: LongDS-Bench zeigt Leistungsabfall von KI-Agenten bei langen Analysen

Eine neue Arbeit mit dem Titel “LongDS-Bench: On the Failure of Long-Horizon Agentic Data Analysis” stellt einen Benchmark vor, der KI-Agenten bei mehrstufigen Datenanalyseaufgaben bewertet. Die Autoren sind Kewei Xu, Xiaoben Lu, Shuofei Qiao, Zihan Ding, Haoming Xu, Lei Liang und Ningyu Zhang.

Was ist LongDS-Bench?

LongDS-Bench ist eine Bewertungssuite, die aus 68 Aufgaben und 2.225 Runden (Turns) aus echten Kaggle-Notebooks besteht. Die Aufgaben decken sechs Domänen ab, darunter Geowissenschaften, Wirtschaft und Bildung. Ziel ist es zu testen, ob Agenten den analytischen Kontext über lange, mehrstufige Interaktionen aufrechterhalten können.

Wie schlecht sind die Modelle über lange Horizonte?

Die Ergebnisse sind ernüchternd: Das beste Modell erreicht nur 48,45% durchschnittliche Genauigkeit. Beim Test von fünf führenden Modellen fällt die Leistung von frühen zu späten Runden um fast 47 Punkte. Fehler über lange Horizonte machen zwischen 52% und 69% aller Misserfolge aus.

Was ist die eigentliche Ursache des Scheiterns?

Der zentrale Befund ist, dass der Hauptengpass das Aufrechterhalten des korrekten analytischen Zustands ist, nicht das Erhöhen des Interaktionsbudgets. Mit anderen Worten: Zusätzliche Rechenschritte allein lösen die grundlegende Herausforderung der Zustandserhaltung über lange Aufgaben hinweg nicht. Die Forscher veröffentlichten den Benchmark, um die Entwicklung zuverlässigerer agentischer Systeme für die Datenanalyse zu fördern.