Google DeepMind：超过50%的AI智能体安全事件源于错误，而非攻击

Google DeepMind发布了针对AI智能体安全挑战的全面分析，基于对100万条智能体编程轨迹——自主模型在处理编程任务时采取的动作记录序列——的审查。颠覆业界既有假设的发现是：超过50%被标记的安全事件并非来自对抗性攻击，而是源于智能体自身对任务的误解或过度热情。

AI智能体的纵深防御如何运作

纵深防御——将多个独立防护层组合在一起的安全策略——在DeepMind针对智能体的实施中包含三个层面。第一层是传统沙盒：隔离智能体的执行环境，防止其在规定范围外进行未经授权的操作。第二层是MITRE ATT&CK威胁建模——将安全社区通常用于分类人类黑客攻击技术的标准化框架应用于AI智能体，这些智能体被视为「内部威胁」——具有特权访问的内部威胁主体。第三层是监督AI（supervisor）：一个专用模型，实时监控主智能体的行为并检测异常。

Gemini Spark实时监控系统与关键指标

DeepMind专门为Gemini Spark智能体——面向编程任务的生产级智能体——构建了实时监控系统。该系统衡量三项关键指标：覆盖率（威胁场景覆盖率）、召回率（检测到真实事故的比例）和响应时间（对检测到事故的反应速度）。这些指标的具体数值未公开，但方法论作为其他团队可借鉴的参考框架已对外公布。

对开发安全智能体的意义

错误而非攻击占主导的发现对系统设计具有实践意义。开发团队不应将资源主要投入到防御外部攻击者上，而必须优先考虑对用户意图的稳健理解以及使智能体能够识别自身权限边界的机制。DeepMind强调，智能体的风险特征类似于拥有特权访问的内部用户——而非外部攻击者——这意味着传统的周界安全模型不足以解决安全事件的根本原因。该方法的设计旨在随着模型自主性的提升和委托给智能体的任务复杂性增加而可扩展。

技术背景

对100万条轨迹的分析提供了小样本无法获得的统计结论：「智能体误解」（任务指令理解错误）与「智能体过度热情」（执行过度积极）之间的区别只有在足够大的数据集下才能显现出来。与对抗性攻击（占总标记的不到50%）的对比表明，当前业界低估了安全事件的内部原因。