arXiv:2607.15550: SeerGuard sigurnosnim svjetskim modelom predviđa posljedice akcija mobilnih GUI agenata

Kako SeerGuard sprječava opasne akcije mobilnih agenata?

Xue Yu i suradnici u radu “SeerGuard: A Safety Framework for Mobile GUI Agents via World Model Prediction” (arXiv:2607.15550) predstavljaju consequence-aware sigurnosni okvir namijenjen mobilnim GUI agentima — AI sustavima koji samostalno upravljaju sučeljem mobilne aplikacije umjesto korisnika, dodirujući gumbe i unoseći tekst kao što bi to učinio čovjek. SeerGuard prije izvršenja provjerava samu instrukciju i dodatno procjenjuje rizik na razini svake pojedine akcije, umjesto da sigurnost ocjenjuje tek nakon što je akcija već izvedena.

Safety-Augmented World Model kao temelj provjere

Okosnica sustava je Safety-Augmented World Model (SAWM), model koji kombinira dvije funkcije: predviđanje sljedećeg stanja sučelja, odnosno world model koji simulira što će se dogoditi ako agent izvede određenu akciju, i sigurnosnu procjenu rizika te predviđene posljedice. Pre-execution provjera tako ne ovisi samo o tekstu instrukcije, već i o predviđenoj posljedici akcije prije nego što je agent uopće izvrši na stvarnom uređaju.

Rezultati na Qwen3-VL-8B-Instruct: veća korisnost, manji rizik

Na modelu Qwen3-VL-8B-Instruct safety-utility score raste s 0,191 na 0,596 uz parametar omega 0,8, dok risk-cost score istovremeno pada s 0,347 na 0,130 uz parametar alfa 0,8. Drugim riječima, agent uz SeerGuard postaje sigurniji i pritom ne gubi korisnost izvršavanja zadataka, a autori navode da se poboljšanje generalizira kroz različite mobilne GUI agente, ne samo na testiranom modelu.