arXiv:2606.04460: CyberGym-E2E misst KI-Agenten über den gesamten Schwachstellen-Lebenszyklus

Die Arbeit arXiv:2606.04460 stellt CyberGym-E2E vor, einen skalierbaren Real-World-Benchmark zur Messung von KI-Agenten über den gesamten Schwachstellen-Lebenszyklus. Die Arbeit wurde am 3. Juni 2026 (um 05:06 UTC) vom Team um Dawn Song aus dem Umfeld der UC Berkeley veröffentlicht. Ziel des Benchmarks ist es, realistisch zu bewerten, wie fähig KI-Agenten sind, Sicherheitslücken in realer Software eigenständig zu finden, zu demonstrieren und zu beheben.

Was ist CyberGym-E2E?

CyberGym-E2E ist ein skalierbarer Real-World-Benchmark, also ein Werkzeug zum Vergleich der Fähigkeiten von KI-Agenten, das auf realen statt erfundenen Beispielen beruht. Er enthält 920 reale Schwachstellen, die aus 139 Open-Source-Projekten gesammelt wurden. Das Vertrauen auf reale Projekte macht den Benchmark praxisrelevant, da die Agenten mit echtem Code und echten Sicherheitsproblemen arbeiten müssen.

Die Bezeichnung „E2E” steht für „end-to-end” und betont, dass der Benchmark den gesamten Weg der Schwachstellenbehebung abdeckt, von der Entdeckung bis zur Behebung, und nicht nur einen einzelnen isolierten Schritt.

Welche Fähigkeiten misst der Benchmark?

CyberGym-E2E misst drei zentrale Fähigkeiten von KI-Agenten. Die erste ist die Schwachstellenerkennung, also die Fähigkeit eines Agenten, eine Sicherheitslücke im Code überhaupt zu finden. Die zweite ist die Proof-of-Concept-Generierung (PoC), der Nachweis, dass die gefundene Schwachstelle tatsächlich ausgenutzt werden kann.

Die dritte Fähigkeit ist die Patch-Entwicklung, also das Erstellen eines Fixes, der die Schwachstelle beseitigt. Durch die Abdeckung aller drei Phasen testet der Benchmark einen Agenten über den gesamten Schwachstellen-Lebenszyklus, von der Problemidentifikation bis zur Behebung, und liefert damit ein vollständigeres Bild als auf eine einzelne Aufgabe ausgerichtete Tests.

Wie werden die Testszenarien aufgebaut?

Zur Erstellung der Testszenarien nutzt CyberGym-E2E eine automatisierte Pipeline mit Agent-Enhancement. Diese Pipeline wandelt Daten über reale Schwachstellen in zum Testen geeignete realistische Szenarien um. Die Automatisierung ist wichtig, da sie Skalierbarkeit ermöglicht: Neue Szenarien können aus vorhandenen Daten ohne umfangreiche manuelle Arbeit generiert werden.

Damit löst CyberGym-E2E eine der Hauptherausforderungen von Sicherheits-Benchmarks, nämlich ihre Pflege und Erweiterung. Während Schwachstellendatenbanken ergänzt werden, kann sich der Benchmark mit ihnen weiterentwickeln.

Was liefert der Benchmark nicht?

Es ist wichtig hervorzuheben, dass das Abstract der Arbeit keine konkreten Erfolgsquoten einzelner Modelle für diesen Benchmark nennt. Die Veröffentlichung konzentriert sich auf die Methodik, den Umfang und die Struktur von CyberGym-E2E und nicht auf die Bewertung konkreter Systeme.

Für Forscher und Sicherheitsexperten stellt der Benchmark dennoch einen wertvollen Rahmen zur Bewertung des Fortschritts von KI-Agenten in der Cybersicherheit dar. Detailliertere Ergebnisse und Analysen sind in der Arbeit selbst auf arXiv verfügbar, die die Primärquelle für alle numerischen Kennzahlen bleibt.