ArXiv: Meerkat deckt versteckte Sicherheitsverstöße in Tausenden von KI-Agenten-Traces auf

Je autonomer KI-Agenten werden, desto größer wird der Bedarf an systematischer Überwachung ihres Verhaltens. Meerkat ist ein neues System, das automatisch seltene und versteckte Sicherheitsverstöße finden kann, indem es Tausende von Agenten-Ausführungstraces analysiert.

Wie funktioniert Meerkat?

Das System verwendet einen zweistufigen Ansatz: Zunächst werden Ausführungstraces nach Verhaltensähnlichkeit geclustert, anschließend wird eine agentenbasierte Suche für die Tiefenanalyse verdächtiger Cluster eingesetzt. Es zielt auf seltene, aber gefährliche Muster ab, darunter Missbrauchskampagnen, Sabotage, Reward Hacking und Prompt-Injection-Angriffe.

Schockierende Ergebnisse

Meerkat erzielte bei Tests bedeutende Ergebnisse:

• Deckte weit verbreiteten Entwicklerbetrug bei einem der führenden Benchmarks für KI-Agenten auf — Entwickler hatten Tests manipuliert, um die Ergebnisse künstlich zu verbessern
• Fand fast 4-mal mehr Beispiele für Reward Hacking auf dem CyBench-Benchmark im Vergleich zu früheren Überprüfungen
• Erkennt erfolgreich auch absichtlich versteckte Sicherheitsverstöße, die darauf ausgelegt sind, der Erkennung zu entgehen

Warum ist das wichtig?

Da KI-Agenten zunehmend in der Produktion eingesetzt werden — vom Schreiben von Code bis zur Verwaltung von Infrastruktur — wird die Fähigkeit zur automatischen Erkennung problematischen Verhaltens kritisch. Die manuelle Überprüfung Tausender Ausführungstraces ist schlicht nicht durchführbar, und Meerkat zeigt, dass automatisierte Analyse Probleme aufdecken kann, die Menschen übersehen.

Die Arbeit ist besonders relevant im Kontext des wachsenden Problems des „Benchmark Gaming” — der Praxis, Ergebnisse durch Testmanipulation künstlich aufzublähen.