AWS: Strands Evals SDK automatisiert KI-Agenten-Fehlererkennung und Ursachenanalyse

AWS hat Strands Evals vorgestellt, ein SDK, das die Erkennung von KI-Agenten-Fehlern und ihre Ursachenanalyse automatisiert — eines der schwierigsten Probleme beim produktiven Einsatz von Agenten.

Wie erkennt Strands Evals Agenten-Fehler?

Strands Evals arbeitet in zwei Phasen. In der ersten Phase erkennt es Fehler in neun Kategorien, darunter Halluzinationen, falsche Aktionen, Orchestrierungsfehler, Kontextfehler und unnötige Wiederholungen. Die Analyse basiert auf der Überprüfung von Agenten-Ausführungstraces durch ein Sprachmodell, das Fehlermuster erkennt, die mit klassischen Regeln schwer zu erfassen sind.

Was liefert die Ursachenanalyse?

In der zweiten Phase führt das Tool eine Ursachenanalyse durch, indem es eine Kausalkette aufbaut und Beiträge als PRIMARY, SECONDARY oder TERTIARY klassifiziert. Anstatt nur zu melden, dass ein Agent versagt hat, weist Strands Evals auf die wahrscheinlichste Fehlerquelle hin und schlägt konkrete Korrekturen vor, wie SYSTEM_PROMPT_FIX oder TOOL_DESCRIPTION_FIX. AWS gibt an, dass die Diagnose damit von Stunden auf Minuten verkürzt wird.

Wie fügt es sich in den Entwicklungs- und Produktionsablauf ein?

Strands Evals bietet eine DiagnosisConfig mit zwei Auslösemodi: ON_FAILURE für CI/CD-Pipelines und ALWAYS für Audit-Zwecke. Über CloudWatchProvider können Produktionssitzungen aus Amazon-CloudWatch-Logs analysiert werden. Das SDK erfordert Python 3.10 oder neuer und integriert sich mit Amazon Bedrock.

Warum ist das für die Agenten-Entwicklung wichtig?

Mit zunehmendem Produktiveinsatz von Agentensystemen wird die Diagnose, warum ein Agent versagt hat, zum Engpass. Automatisierte Fehlererkennung und Ursachenanalyse mit konkreten Verbesserungsvorschlägen verlagert einen Teil dieser Arbeit von manueller Untersuchung auf ein Tool, beschleunigt die Iteration und verbessert die Zuverlässigkeit von Agenten.