ArXiv ACIArena:针对 AI 代理链提示注入攻击的首个基准测试

一种新型提示注入攻击

多代理系统(LangGraph、AutoGen、CrewAI、OpenAI Swarm)在需要协调多个 AI 代理的任务中越来越受欢迎。但是每个与另一个代理通信的代理都代表了新的攻击面——根据 4 月 10 日发布的新论文,这个面被危险地研究不足。

由 An 领导的团队提出了 ACIArena — 首个针对**代理级联注入(ACI)**的系统性基准测试。这是一类攻击,其中:

1. 攻击者将恶意提示注入系统的一个组件(例如,第一个代理读取的文档)
2. 第一个代理处理输入并将”处理后”的结果传递给下一个代理
3. 恶意内容被”呈现”为合法的系统内部通信
4. 后续代理将受损的数据视为可信
5. 链条继续,直到有人执行危险操作

基准测试包含什么

ACIArena 通过 6 种多代理实现涵盖了 1,356 个测试用例。测试用例涵盖:

• 各种输入向量(文档、网页、API 响应)
• 各种代理拓扑(顺序、并行、分层)
• 各种最终动作类型(读取文件、编写代码、发送电子邮件、执行 shell 命令)

为什么这很重要

当前大多数安全研究聚焦于单代理场景——用户直接与单一模型对话。但实际的生产部署越来越依赖于代理链,其中一个代理信任另一个代理的结果。ACIArena 正式衡量了这种”代理间信任”的薄弱程度。

对于已经使用 LangGraph 和 AutoGen 的开发团队来说,此基准测试应成为生产部署前安全评估的必备组成部分。到目前为止,缺少基准测试意味着攻击只有在事件发生后才被发现。