arXiv:2607.15550: SeerGuard sagt mit einem Sicherheits-Weltmodell die Folgen von Aktionen mobiler GUI-Agenten voraus

Wie verhindert SeerGuard gefährliche Aktionen mobiler Agenten?

Xue Yu und Kollegen stellen im Paper „SeerGuard: A Safety Framework for Mobile GUI Agents via World Model Prediction” (arXiv:2607.15550) ein konsequenzbewusstes Sicherheits-Framework für mobile GUI-Agenten vor — KI-Systeme, die eigenständig die Oberfläche einer mobilen App anstelle des Nutzers bedienen, Schaltflächen antippen und Text eingeben, wie es ein Mensch tun würde. SeerGuard prüft vor der Ausführung die Anweisung selbst und bewertet zusätzlich das Risiko auf der Ebene jeder einzelnen Aktion, statt die Sicherheit erst nach der bereits ausgeführten Aktion zu beurteilen.

Safety-Augmented World Model als Grundlage der Prüfung

Das Rückgrat des Systems ist das Safety-Augmented World Model (SAWM), ein Modell, das zwei Funktionen kombiniert: die Vorhersage des nächsten Oberflächenzustands — ein Weltmodell, das simuliert, was passiert, wenn der Agent eine bestimmte Aktion ausführt — sowie eine Sicherheitsbewertung des Risikos dieser vorhergesagten Konsequenz. Die Pre-Execution-Prüfung hängt somit nicht nur vom Text der Anweisung ab, sondern auch von der vorhergesagten Konsequenz der Aktion, bevor der Agent sie überhaupt auf dem tatsächlichen Gerät ausführt.

Ergebnisse bei Qwen3-VL-8B-Instruct: höherer Nutzen, geringeres Risiko

Beim Modell Qwen3-VL-8B-Instruct steigt der Safety-Utility-Score bei einem Parameter Omega von 0,8 von 0,191 auf 0,596, während der Risk-Cost-Score bei einem Parameter Alpha von 0,8 gleichzeitig von 0,347 auf 0,130 sinkt. Mit anderen Worten: Ein Agent mit SeerGuard wird sicherer, ohne dabei an Nutzen bei der Aufgabenausführung zu verlieren, und laut den Autoren generalisiert die Verbesserung über verschiedene mobile GUI-Agenten hinweg, nicht nur auf das getestete Modell.