IBM Research: VAKRA-Benchmark zeigt, dass KI-Agenten bei komplexem Denken scheitern

IBM Research hat VAKRA veröffentlicht — einen neuen Benchmark, der KI-Agenten in realistischen Enterprise-Szenarien auf die Probe stellt. Mit mehr als 8.000 lokalen APIs, 62 Domänen und 4.187 Testinstanzen ist VAKRA einer der umfassendsten Evaluierungsrahmen zum Testen von Agentenfähigkeiten.

Wo versagen KI-Agenten?

Das Kernergebnis ist die Lücke zwischen oberflächlicher Kompetenz und echter Zuverlässigkeit. KI-Agenten lösen einfache Aufgaben erfolgreich, die einen oder zwei API-Aufrufe erfordern, aber die Leistung bricht dramatisch ein, wenn eine Aufgabe kompositionelles Denken erfordert — die Fähigkeit, mehrere Werkzeuge und Schritte zu einem kohärenten Plan zu kombinieren.

Multi-Hop-Reasoning (Denken durch mehrere Schritte) ist besonders problematisch: Jeder zusätzliche Schritt in der Kette verringert die Genauigkeit, und Agenten „verlieren den Faden” häufig nach drei bis vier Schritten. Dies ist besonders relevant für Enterprise-Szenarien, bei denen die Automatisierung von Geschäftsprozessen genau solche mehrstufigen Operationen erfordert.

Warum ist die Einhaltung von Regeln so schwierig?

VAKRA testet auch, was es als Policy Adherence bezeichnet — die Fähigkeit eines Agenten, externe Einschränkungen bei der Werkzeugnutzung zu respektieren. Beispielsweise kann ein Agent Zugang zu einer API zum Löschen von Nutzerdaten haben, aber die Unternehmensrichtlinie erfordert eine vorherige Genehmigung durch einen Vorgesetzten.

Die Ergebnisse zeigen, dass Agenten in diesem Bereich erhebliche Fehler machen und häufig Aktionen ausführen, ohne Einschränkungen zu prüfen oder Richtlinien vollständig zu ignorieren. Für Unternehmen, die autonome KI-Agenten in Geschäftsprozessen erwägen, ist dies ein Signal, dass eine robuste Governance- und Überwachungsschicht oberhalb der reinen Agentenfähigkeiten erforderlich ist.