AISI: Frontier-KI-Modelle entdeckten kritische Cloud-Schwachstellen für unter £150

Das britische AI Security Institute (AISI) hat eine detaillierte Fallstudie veröffentlicht, in der das eigene Ingenieursteam Frontier-KI-Modelle zur Sicherheitsprüfung seiner Forschungsplattform einsetzte. Die Ergebnisse sind äußerst aufschlussreich: Die Modelle fanden kritische Cloud-Schwachstellen, die Standardtools zuvor entgangen waren, und die schwerwiegendste Angriffskette wurde mit Kosten unter £150 an Modell-Tokens entdeckt.

Drei Ansätze mit unterschiedlicher Tiefe und Rauschen

Das Team testete drei Methodologien, jede mit einem anderen Verhältnis von Autonomie und menschlicher Aufsicht.

Statische Quellcode-Analyse war am wenigsten anspruchsvoll in Bezug auf menschliches Engagement: Ein Coding-Agent erhielt Zugang zum privaten Repository mit der Rolle eines Sicherheitsreviewers und analysierte den Code selbstständig. Dieser Ansatz generierte die meisten als „hoch” oder „kritisch” eingestuften Warnungen, aber auch das meiste Rauschen. Viele gemeldete Probleme erwiesen sich als weniger schwerwiegend oder nicht ausnutzbar, sodass das Filtern der Ergebnisse umfangreichen Ingenieuraufwand erforderte.

Automatisiertes agentisches Probing basierte auf einem autonomen Agenten, der im Inspect-Eval-Framework aufgebaut wurde. Der Agent startete mit Zugang auf Forscher-Ebene und versuchte selbstständig, ausnutzbare Pfade zu identifizieren. Dieser Ansatz lieferte konkretere und effektivere Ergebnisse als die statische Analyse.

Human-in-the-Loop-Red-Teaming kombinierte die Expertise eines Sicherheitsforschers mit den Fähigkeiten eines Coding-Agenten: Der Forscher steuerte den Agenten interaktiv und genehmigte jeden Schritt manuell. Dieser Ansatz lieferte die klarsten und direkt ausnutzbaren Befunde.

Eine fünfstufige Angriffskette, die niemand gesehen hatte

Der zentrale Befund des Projekts war eine zuvor unentdeckte Angriffskette, die aus fünf unabhängigen Schritten besteht. Die Kette ermöglichte es einem normalen Nutzer, ohne Interaktion mit einem Opfer auf die Daten anderer Forscher auf der Plattform zuzugreifen. Die Ingenieure beschrieben den Angriffspfad als „verständlich, aber nicht intuitiv” — genau die Art von Schwachstelle, die routinemäßigen Überprüfungen entgeht, weil kein einzelner Schritt für sich kritisch aussieht.

Neben der fünfstufigen Kette wurden auch Schwachstellen in der Zugriffskontrolle, Privilege-Escalation-Pfade und Schwächen in der Software-Supply-Chain-Sicherheit entdeckt.

Alle getesteten Frontier-Modelle fanden mindestens eine ausnutzbare Schwachstelle. Die fähigsten Modelle verknüpften erfolgreich mehrere entdeckte Schwächen und ermöglichten so laterale Bewegung und Zugriff auf nicht autorisierte Daten.

Warum ist die Erkennungslücke der zentrale Befund?

Der besonders beunruhigende Aspekt des Projekts betrifft die Erkennung der agentischen Aktivität selbst. Als der autonome Agent das Probing durchführte, übersah das Standard-Commercial-Alerting-System diese Aktivität vollständig — es generierte keine Warnungen zu ungewöhnlichem Verhalten.

Erweitertes Monitoring, das agentisches Cloud-Scanning ohne Agenten und Host-Level-Sensoren kombinierte, identifizierte das aggressive Verhalten korrekt: Versuche zur Credential-Übernahme und unerwarteter Netzwerkverkehr. Die Lücke zwischen diesen beiden Erkennungsansätzen zeigt, dass Organisationen, die sich ausschließlich auf Standard-Commercial-Alerts verlassen, nicht bemerken werden, wenn ein KI-Agent Reconnaissance innerhalb ihrer Infrastruktur durchführt.

Die Wirtschaftlichkeit von KI-Sicherheitsprüfungen

Die Kostendimension des Projekts verdient besondere Aufmerksamkeit. Die primäre Angriffskette kostete weniger als £150 an Modell-Tokens. Die Gesamtkosten des gesamten Projekts — einschließlich aller drei Ansätze und aller getesteten Modelle — blieben unter £1.000.

Der Vergleich mit den Kosten für die Beauftragung spezialisierter Sicherheitsforscher für eine äquivalente Prüfung legt nahe, dass KI-unterstütztes Red-Teaming ein wirtschaftlich zugängliches Tool ist — sogar für Organisationen mit begrenzten Sicherheitsbudgets.

AISI betont, dass alle Ansätze eigene Vor- und Nachteile hatten und eine Kombination der Methoden das vollständigste Bild liefert. Statische Analyse ist gut für umfassende Abdeckung, während agentische und Human-in-the-Loop-Ansätze eine kleinere, aber zuverlässigere Menge direkt handlungsrelevanter Befunde liefern.

Diese Fallstudie kommt zu einem Zeitpunkt, an dem die Branche aktiv über die duale Natur von Frontier-KI-Modellen im Kontext der Cybersicherheit diskutiert: Dieselben Modelle, die Schwachstellen finden können, können sie auch ausnutzen — was das Verständnis ihrer Fähigkeiten für Abwehrteams zu einer kritischen Aufgabe macht.