arXiv:2606.00914: Feindliche Feeds können die Entscheidungen von KI-Agenten umkehren

Eine neue Arbeit auf arXiv mit dem Titel “Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults” von Rana Muhammad Usman untersucht, wie stark der Inhalt und die Reihenfolge von Informations-Feeds die Entscheidungsfindung von LLM-Agenten beeinflussen.

Wie wurde die Untersuchung durchgeführt?

Die Studie hält Modell, Persona, Thema und Entscheidungs-Prompt unverändert und variiert ausschließlich den Inhalt des Feeds während einer zehnrundigen “Scroll”-Phase. Die Untersuchung umfasste 2.785 Rollouts, also einzelne Durchläufe einer Entscheidung, an vier modernen offenen Instruct-LLM-Modellen aus drei unabhängigen Laboren. Ein Rollout ist hier ein vollständiger Durchgang des Agenten durch das Szenario bis zur Entscheidung.

Wie verändert der Feed die Entscheidung?

Die Autoren identifizieren drei Antwortregime: feindliche Kapitulation, Sättigung bei der Standardhaltung und Asymmetrie in Richtung der Standardhaltung. Der zentrale Befund ist die Asymmetrie: Ein einseitiger Feed kann eine Entscheidung verschieben, bei der das Modell wirklich unsicher ist, in den klarsten Fällen von 5% auf 100%, aber er kann keine Entscheidung verschieben, die das Modell bereits vertritt oder fest hält. Die statistische Signifikanz des Effekts erreichte Niveaus so stark wie p = 3 × 10⁻¹⁰.

Was ist eine praktische Kontrolloberfläche?

Die Autoren beschreiben Informations-Ranker als “eine praktische, standardbegrenzte Kontrolloberfläche für LLM-Agenten”. Eine Kontrolloberfläche ist eine Schicht des Systems, über die das Verhalten eines Agenten geformt werden kann. Da Empfehlungssysteme entscheiden, welche Informationen der Agent überhaupt sieht und in welcher Reihenfolge, werden sie zu einem mächtigen Einflusshebel, aber nur innerhalb der Grenzen, die die Standardneigung des Modells setzt.

Was bedeutet das für die Sicherheit?

Die wichtigste Implikation ist, dass Sicherheitsevaluierungen sich nicht auf die isolierte Prüfung des finalen Prompts beschränken dürfen. Auch die Schicht der Informationssortierung muss überprüft werden, denn gerade sie kann den Agenten lenken, bevor er zur eigentlichen Entscheidung gelangt. Der Effekt überlebte den Austausch des Generators, verallgemeinerte sich über verschiedene Entscheidungsdomänen hinweg, einschließlich sicherheitsrelevanter Entscheidungen, und erwies sich mit einfachen Abwehrmaßnahmen als teilweise abschwächbar.