arXiv:2607.15550: SeerGuard, 안전 세계 모델로 모바일 GUI 에이전트 행동의 결과 예측

SeerGuard는 모바일 에이전트의 위험한 행동을 어떻게 막는가?

Xue Yu와 공동 연구자들은 논문 “SeerGuard: A Safety Framework for Mobile GUI Agents via World Model Prediction”(arXiv:2607.15550)에서 모바일 GUI 에이전트—사용자를 대신해 모바일 앱 인터페이스를 자율적으로 조작하며, 사람이 하듯 버튼을 누르고 텍스트를 입력하는 AI 시스템—를 위한 consequence-aware(결과 인식형) 안전 프레임워크를 제시합니다. SeerGuard는 실행 전에 지시 사항 자체를 점검하고, 행동이 이미 실행된 이후에 안전성을 평가하는 대신 개별 행동 수준에서도 추가로 위험을 평가합니다.

점검의 기반이 되는 Safety-Augmented World Model

이 시스템의 핵심은 Safety-Augmented World Model(SAWM)로, 두 가지 기능을 결합합니다. 인터페이스의 다음 상태를 예측하는 것—에이전트가 특정 행동을 실행하면 무슨 일이 일어날지 시뮬레이션하는 세계 모델—과, 그 예측된 결과에 대한 안전 위험 평가입니다. 따라서 실행 전 점검은 지시 텍스트에만 의존하는 것이 아니라, 에이전트가 실제 기기에서 그 행동을 아직 실행하지 않은 시점에 예측된 행동의 결과에도 의존합니다.

Qwen3-VL-8B-Instruct에서의 결과: 더 높은 유용성, 더 낮은 위험

Qwen3-VL-8B-Instruct 모델에서 omega 매개변수가 0.8일 때 safety-utility 점수는 0.191에서 0.596으로 상승했고, 동시에 alpha 매개변수가 0.8일 때 risk-cost 점수는 0.347에서 0.130으로 하락했습니다. 다시 말해, SeerGuard를 갖춘 에이전트는 작업 수행의 유용성을 잃지 않으면서도 더 안전해졌으며, 저자들에 따르면 이 개선은 테스트에 사용된 모델뿐 아니라 다양한 모바일 GUI 에이전트에도 일반화됩니다.