arXiv:2607.18754: AgentDebugX, Open-Source-Diagnosetool für LLM-Agenten, hebt die GAIA-Benchmark-Genauigkeit auf 63,6 %

Was ist AgentDebugX, und was ist die Detect-Attribute-Recover-Rerun-Schleife?

Kunlun Zhu, Xuyan Ye und 10 weitere Mitautoren, insgesamt 12 Autoren, stellen AgentDebugX im Paper „AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents” (arXiv:2607.18754) vor. Es handelt sich um ein Open-Source-Debugging-Framework, ein Tool zur Erkennung, Diagnose und Behebung von Fehlern bei LLM-Agenten, aufgebaut um die Detect-Attribute-Recover-Rerun-Schleife: Fehler erkennen, Ursache zuordnen, System wiederherstellen, erneut ausführen. Es ist als Python-Bibliothek, CLI-Tool, Web-Konsole und Agentic Skill verfügbar, mit einem Opt-in-Error-Hub zum freiwilligen Teilen von Fehlerdaten zwischen Nutzern.

Wie genau ist die Root-Cause-Attribution?

Das Modul DeepDebug führt eine Multi-Turn-Root-Cause-Diagnose durch, eine mehrrundige Analyse, die genau ermitteln soll, welcher Agent und welcher Schritt in der Abfolge das Scheitern verursacht hat. Auf dem Benchmark „Who and When” erreicht AgentDebugX beim Modell Qwen 3.5-9B eine Genauigkeit von 28,8 % bei der Zuordnung von Agent und Schritt, gegenüber 21,7 % beim stärksten Baseline, einem Referenzvergleich.

Verbesserung auf dem GAIA-Benchmark von 55,8 % auf 63,6 %

Auf dem GAIA-Benchmark, einer Sammlung von Aufgaben für allgemeine KI-Agenten, behebt AgentDebugX 13 von 73 zuvor gescheiterten Aufgaben in nur einem Rerun, gegenüber 4 bis 6 beim Decoupled-Baseline, und hebt damit die Gesamtgenauigkeit von 55,8 % auf 63,6 %.