LangChain: IssueBench misst intern die Erkennung von 15 Fehlerkategorien in Agent-Traces

Was ist IssueBench, und warum nutzt LangChain es?

Ein Agent-Trace ist eine Aufzeichnung der gesamten Ausführung eines KI-Agenten — jeder Toolaufruf, jede Entscheidung und jeder Zwischenschritt, chronologisch protokolliert. LangChain hat IssueBench entwickelt, einen internen Benchmark, der misst, wie gut die eigene LangSmith Engine Probleme innerhalb solcher Traces erkennt und kategorisiert, statt die Zuverlässigkeit des Tools nur nach subjektivem Eindruck zu beurteilen.

Struktur von IssueBench: Domänen und Fehlerkategorien

Der Benchmark umfasst 15 synthetische Aufgaben, verteilt auf drei Domänen: SRE-Log-Analyse, Softwareentwicklung und Kundensupport. Zusätzlich deckt er 15 Fehlerkategorien ab — von der Preisgabe personenbezogener Daten (PII) und Halluzinationen über Drift des System-Prompts und falsche Toolauswahl bis hin zu Agent-Looping und dem Umgehen von Guardrails. Die Tests laufen auf der Harbor-Infrastruktur, die eine isolierte und reproduzierbare Ausführung gegen ein verborgenes Ground-Truth-Label ermöglicht — die im Voraus bekannte, korrekte Antwort, mit der das Ergebnis des Modells verglichen wird.

Synthetische Daten statt echter Produktions-Traces

Die Autoren Nick Bray und Arjun Nargolwala betonen den Vorteil synthetischer Daten mit kontrolliertem Ground-Truth-Label gegenüber echten Produktions-Traces: Bei echten Aufzeichnungen weiß niemand mit Sicherheit, welche Fehlerkategorie „korrekt” ist, während synthetische Aufgaben eine präzise Messung von Präzision und Recall des Tools ermöglichen. Dieser Ansatz erlaubt es LangChain, den Fortschritt der LangSmith Engine über die Zeit auf vergleichbare und wiederholbare Weise zu verfolgen.