arXiv:2605.17634: Warum Data/Instruction Separation Prompt Injection nicht stoppen kann

Warum Data/Instruction Separation Prompt Injection nicht stoppen kann

Die Forscher Sahar Abdelnabi (CISPA Helmholtz Center for Information Security) und Eugene Bagdasarian (Google) haben das Paper arXiv:2605.17634 veröffentlicht, das die grundlegende Annahme heutiger KI-Agenten-Abwehr in Frage stellt.

Prompt Injection ist ein Angriff, bei dem bösartiger Inhalt aus der Umgebung — ein Dokument, eine Webseite, eine API-Antwort — einem KI-Agenten versteckte Anweisungen einschleust und seine Aktionen übernimmt. Die heute dominante Abwehr ist Data/Instruction Separation: die Unterscheidung zwischen vertrauenswürdigen Nutzeranweisungen und nicht vertrauenswürdigen externen Daten sowie das Blockieren der Ausführung von Anweisungen aus dem Datenkanal.

Die Autoren beweisen mathematisch, dass dieser Ansatz ein grundlegendes Limit hat. Ein Angreifer muss keinen Text einschleusen, der wie eine Anweisung aussieht — es genügt, den Situationskontext zu manipulieren. Ein Agent, der Daten und Anweisungen korrekt unterscheidet, kann dennoch zur falschen Aktion verleitet werden, wenn ein Angreifer einen legitim wirkenden Kontext konstruiert, der ändert, was der Agent als „angemessene” Handlung betrachtet.

Contextual Integrity als neuer theoretischer Rahmen

Zur Formalisierung des Problems führen die Autoren Contextual Integrity (CI) ein — Helen Nissenbaums Rahmen aus der Datenschutzphilosophie. CI bewertet nicht, was übertragen wird, sondern ob ein Informationsfluss zum Kontext passt: wer sendet, an wen, in welcher Situation, zu welchem Zweck.

Auf KI-Agenten angewandt: Ein Angriff ist nicht nur eine eingepflanzte Anweisung — ein Angriff ist jeder Informationsfluss, der kontextuelle Normen einer legitimen Aufgabe verletzt. Die Autoren entwickeln eine Szenarioanalyse, die drei Verletzungsmechanismen zeigt: Fehldarstellung des Informationsflusses, Manipulation kontextueller Normen und Vermischung mehrerer Flüsse aus verschiedenen Kontexten.

Das zentrale theoretische Ergebnis — ein Unmöglichkeitsresultat — lautet: Ein Angreifer kann stets einen Kontext konstruieren, in dem eine blockierte legitime Operation verdächtig wirkt und eine bösartige legitim. Jede Verschärfung der Sicherheitsnormen blockiert einige legitime Operationen; jede Lockerung lässt Angriffe durch.

Ist Abwehr überhaupt möglich?

Die Autoren behaupten nicht, dass Schutz unmöglich ist — sie argumentieren, dass das bestehende Paradigma nicht ausreicht. Die Lösung liegt nicht in einem besseren Detektor für verbotene Inhalte, sondern in einem CI-bewussten Alignment-Framework: Agenten müssen so trainiert werden, dass sie die Angemessenheit von Informationsflüssen nach dem Aufgabenkontext beurteilen, nicht nur Daten- und Anweisungsformate unterscheiden.

Die Implikationen betreffen direkt alle produktiven KI-Agenten, die externe Inhalte verarbeiten — E-Mail, Dokumente, Webseiten, API-Antworten. Kanaltrennung bleibt eine nützliche Maßnahme, aber als einzige Verteidigungslinie ist sie nicht ausreichend.