Sicherheitslücke: LangChain, AutoGPT und OpenAI Agents SDK erfüllen keines der sechs Sicherheitsprinzipien für agentische KI-Systeme

Sicherheitsüberprüfung dreier führender agentischer Frameworks deckt systemische Mängel auf

Forscher Md Jafrin Hossain, Mohammad Arif Hossain, Weiqi Liu und Nirwan Ansari haben eine Arbeit veröffentlicht, die die Gemeinschaft der Entwickler von öffentlich zugänglichen KI-Systemen aufschrecken wird. Die auf dem ICML-2026-Workshop AI4GOOD angenommene Studie hat methodisch geprüft, ob drei dominante agentische Frameworks — LangChain, AutoGPT und OpenAI Agents SDK — für den Einsatz in risikoreichen öffentlichen Diensten sicher sind.

Die Antwort ist eindeutig: Keines der drei Frameworks erfüllt auch nur eines der sechs Sicherheitsprinzipien, die die Autoren aus einem kompositionellen Modell agentischer Architekturen abgeleitet haben.

Was sind „Containment-Prinzipien” und warum sind sie wichtig?

Die Autoren gehen vom Konzept des Containment — der Eindämmung — aus, das sechs grundlegende Anforderungen definiert, die ein agentisches KI-System erfüllen muss, um in öffentlichen Anwendungen sicher zu sein. Es handelt sich um Prinzipien, die Bereiche wie Speicherintegrität, Datenschutz und Richtlinienprüfung abdecken.

Besonders beunruhigend ist der Befund zur Speicherintegrität: Der Schutz vor einer der häufigsten Klassen von Schwachstellen ist in keinem der drei evaluierten Frameworks vorhanden. Das bedeutet, dass ein Angreifer, der den Speicher eines Agenten kompromittiert, dauerhaft und unbemerkt die Daten manipulieren kann, auf denen der Agent seine Entscheidungen basiert — ohne jegliche Erkennung.

Alarmierende 88,9 Prozent Fehlerablehnungen

Um die Folgen dieser Lücke in der Praxis zu demonstrieren, konstruierten die Forscher eine simulierte Anwendung für staatliche Sozialdienste. Das Szenario ist nicht theoretisch: Millionen von Bürgern weltweit nutzen bereits heute KI-Assistenten für Verfahren zur staatlichen Unterstützung, medizinischen Versorgung oder finanziellen Leistungen.

Ein einziger Angriff auf den Agentenspeicher führte zu folgenden gemessenen Auswirkungen:

• Fehlerablehnungsrate stieg auf 88,9 % für gezielt angegriffene Antragsteller
• Komplexe Richtlinienangriffe (policy attacks) erhöhten die Gesamtfehlerablehnungsrate um das 3,5-fache, während die Gesamtgenauigkeit des Systems oberflächlich akzeptabel blieb

Letzterer Befund ist besonders heimtückisch: Aggregierte Genauigkeitsmetriken können durchgehend grün sein, während das System gleichzeitig eine bestimmte Nutzergruppe systematisch benachteiligt. Standardmonitoring würde das nicht aufdecken.

Angriffsmechanismen auf agentische Frameworks

Das Kernproblem besteht darin, dass agentische Frameworks nicht zwischen vertrauenswürdigen und nicht vertrauenswürdigen Daten unterscheiden, die in den Agentenspeicher gelangen. Ein Angreifer kann beispielsweise durch das Einschleusen gefälschter Einträge in eine Vektordatenbank oder den Kurzzeitigspeicher des Agenten dafür sorgen, dass der Agent dauerhaft falsche Entscheidungen trifft — selbst wenn neue Eingabedaten korrekt sind. Die Forscher bezeichnen dies als persistent targeted corruption (anhaltende gezielte Korruption), da sich der Angriff über alle zukünftigen Sitzungen und alle getesteten Backend-Konfigurationen fortsetzt.

Behebung mit minimalem Overhead

Hier leistet die Forschung auch einen konstruktiven Beitrag. Die Autoren haben nicht nur das Problem diagnostiziert — sie haben zwei konkrete, leichtgewichtige Schutzmechanismen eingeführt:

1. Speicherintegritätsvalidator (memory integrity validator) — prüft die Konsistenz und Integrität der Daten, bevor der Agent sie für Entscheidungen verwendet
2. Policy Gate (Richtlinien-Gateway) — ein Durchsetzungsmechanismus, der das Durchgehen beschädigter oder unbefugter Daten durch die agentische Verarbeitungskette verhindert

Beide Maßnahmen beheben die identifizierten Sicherheitslücken mit vernachlässigbarem Prozess-Overhead — jeder Aufruf dauert weniger als 0,2 Millisekunden. Das bedeutet, dass es keine praktischen Hindernisse für die Implementierung in Produktionssystemen gibt.

Konsequenzen für die Industrie

Das Fazit der Autoren ist klar: „Aktuelle agentische Frameworks erfüllen möglicherweise noch nicht die standardmäßigen Sicherheitserwartungen für öffentliche Anwendungen” in risikoreichen Domänen wie staatlichen Diensten und Gesundheitsversorgung.

Dies ist keine akademische Kritik an einem einzelnen Anbieter — es handelt sich um einen systemischen Befund, der eine ganze Generation von Tools betrifft, auf denen die Industrie Produktionssysteme aufbaut. LangChain, AutoGPT und OpenAI Agents SDK decken zusammen den Großteil des Markts für agentische Entwicklung ab.

Für Entwickler und Technologieverantwortliche, die heute agentische Systeme in öffentlichen oder regulierten Kontexten implementieren, bietet diese Arbeit auch einen praktischen Weg nach vorne: Die vorgeschlagenen Lösungen sind leichtgewichtig, und die Lücken sind klar dokumentiert. Die Frage ist nicht, ob jemand sie ausnutzen wird — sondern wie schnell Organisationen reagieren können.