arXiv:2605.25707: AgentHijack基准测试揭示AI计算机操控智能体在面对干扰时的严重脆弱性
研究人员在ICML 2026上发布了AgentHijack——一个用于衡量多模态LLM计算机操控智能体在弹窗等真实环境干扰下鲁棒性的基准测试。结果表明，即使是轻微扰动也会导致性能显著下降，研究人员提出了具有两个模块的AgentHijack-Agent框架以提升鲁棒性。
🤖
本文由人工智能基于一手来源生成。
AgentHijack是什么，为何对AI智能体研究意义重大？
研究人员孙景威、朱佳宁、李源毅、刘通亮、胡霞和韩博提出了AgentHijack——一个被ICML 2026收录的全新基准测试，系统衡量多模态LLM智能体在执行计算机任务时面对真实环境干扰的鲁棒性。计算机操控智能体（computer use agents）是通过视觉感知监控屏幕、并自主控制鼠标和键盘的LLM系统。
此前的研究大多关注蓄意对抗性攻击，而AgentHijack聚焦于用户日常遭遇的实际干扰：弹出通知、界面显示变化以及其他并非出于恶意的干扰因素。
AgentHijack测试哪些类型的干扰？
AgentHijack基准测试包含9种可配置的环境干扰类别，模拟真实桌面使用条件：
- 弹出窗口（通知弹窗、对话框、广告），打断任务执行流程
- 显示变化（分辨率、缩放、界面元素比例改变）
- 其他影响智能体视觉感知与控制精度的干扰
该研究的核心发现明确指出：「即使是轻微的干扰，也可能导致性能显著下降」，这揭示了当前多模态LLM智能体（如Claude Computer Use、GPT-4o等系统）存在系统性脆弱问题。
AgentHijack-Agent如何解决鲁棒性问题？
研究人员不仅识别了问题，还提出了AgentHijack-Agent——一个双组件框架，用于提升鲁棒性：
- 动作生成器：增强定位（grounding）精度，将视觉元素更准确地映射至语义动作
- 旁观者模块：持续监控智能体行为并验证环境状态，检测由干扰引发的异常
实验验证了所提框架的有效性。代码、环境、基线模型和数据集均通过项目主页公开，便于研究人员复现和进一步扩展。
AgentHijack的发布恰逢Anthropic、OpenAI和Google DeepMind密集开发计算机操控智能体之际——对真实干扰的鲁棒性，是这类智能体在生产环境中可靠应用的关键前提。
常见问题
- AgentHijack基准测试衡量的是什么？
- AgentHijack测量多模态LLM智能体在执行桌面任务时，面对9种可配置环境干扰类型（如弹窗、界面变化）的抵抗能力。
- 为什么AI计算机操控智能体如此脆弱？
- 多模态LLM智能体依赖对屏幕的视觉感知与精确交互控制，即使环境发生微小变化（弹窗、界面外观改变），也会破坏其工作流程。
- AgentHijack-Agent是什么，它如何提升鲁棒性？
- AgentHijack-Agent是所提出的框架，包含一个提升定位精度的动作生成器，以及一个持续监控行为、验证环境状态的旁观者（onlooker）模块。