arXiv:2607.15218: Wenn Worte sicher sind, aber Handlungen töten — PRISM trennt physische Gefahr vom Text

Warum kann Text „sicher” sein, eine Handlung aber gefährlich?

Weimeng Wang und Mitarbeiter zeigen, dass klassische Textsicherheitsprüfungen das Risiko nicht erfassen, wenn ein Sprachmodell einen physischen Agenten steuert — einen Roboter oder ein System, das Handlungen in der realen Welt ausführt. Durch die Analyse des Hidden-State-Raums (Hidden State, die internen numerischen Repräsentationen, die ein Modell bei der Verarbeitung einer Eingabe aufbaut) an den Modellen Qwen2.5, Phi-3.5 und SmolLM2 zeigt das Team, dass „Content Danger” (Gefahr des Textinhalts) und „Physical Danger” (physische Gefahr einer Handlung) zwei trennbare Signale innerhalb des Netzwerks sind, nicht dasselbe Phänomen, zweimal gemessen.

Die PRISM-Methode

PRISM nutzt diese Trennbarkeit und klassifiziert das Risiko direkt aus den internen Aktivierungen des Modells, statt sich auf textuelle Beurteilung zu verlassen. Auf dem Benchmark SafeAgentBench erreicht die Methode 86,2-87,7 % Genauigkeit bei einer Falsch-Positiv-Rate (False Positive Rate, FPR — der Prozentsatz sicherer Aufgaben, die fälschlich als gefährlich markiert werden) von 11,7-13,7 %.

Ergebnisse gegenüber einem Standard-LLM-Judge

Der Standardansatz, ein LLM-Judge (ein Sprachmodell, das selbst anhand von Text die Sicherheit eines anderen Modells beurteilt), überblockiert im selben Test sichere Aufgaben mit einer FPR von 24,7-39,0 % — zwei- bis dreimal so hoch wie die Fehlerrate von PRISM. Der Unterschied ist auf dem neuen Benchmark PhysicalSafetyBench-1K, der 1.000 kontrastive Aufgabenpaare enthält, noch ausgeprägter: Dort erreicht PRISM 99,6 % Genauigkeit bei nur 0,7 % FPR, während Qwen2.5-3B als Judge ganze 67,8 % der eigentlich sicheren Aufgaben ablehnt.

Warum es wichtig ist

Der Unterschied zwischen 0,7 % und 67,8 % bei den Fehlablehnungsraten zeigt, dass textuelle Beurteilung allein für Agenten, die in der physischen Welt handeln, nicht ausreicht. PRISM legt nahe, dass die Sicherheitsschicht den internen Zustand des Modells betrachten muss, nicht nur den generierten Text, bevor ein Agent eine potenziell gefährliche Handlung ausführt.