arXiv:2607.08395：Token-Flow Firewall — 实时监控持久 AI 智能体并将攻击成功率降至 12.5%
Token-Flow Firewall 是 arXiv 上提出的一种防御机制，可在运行时实时监控长生命周期（持久）AI 智能体中的自然语言 token 流。在 prompt injection 和其他对抗性攻击测试中，将攻击成功率降低至 12.5%，提供运行时防护层，而非仅依赖模型训练。
本文由人工智能基于一手来源生成。
论文「Token-Flow Firewall: Semantic Runtime Auditing for Persistent AI Agents」（arXiv:2607.08395），作者为 Puji Wang 等人，提出了一种针对长生命周期 AI 智能体的防御机制，该机制在执行期间而非仅在训练阶段发挥作用。持久智能体是在长时间、多步骤会话中完成任务的系统——正是这类系统中，一次成功的攻击最为危险，因为其影响会贯穿整个任务链。
防火墙的工作原理
该机制实时监控自然语言 token 流——智能体的输入、中间步骤和输出——寻找能揭示攻击意图的语义模式，例如重定向目标的注入指令。与静态输入检查不同，运行时监控还能捕获那些在任务中途才激活的攻击，此时原始输入已通过检查。这使其成为现有模型训练防护措施的有效补充。
让论文具体可信的数字
在 prompt injection 和其他对抗性攻击测试中，Token-Flow Firewall 将攻击成功率降至 12.5%。Prompt injection——向模型输入中注入隐藏指令——是 LLM 系统中最顽固的攻击方式之一，可量化的成功率下降赋予了这一防御手段实际价值。该结果应以预印本尚未经过同行评审的审慎态度解读，但指标足够具体，可与未来方法进行比较。
背景
本论文是一系列 7 月安全研究成果之一：GitHub 的 CodeQL 在静态分析中引入了 prompt injection 检测，而 arXiv 论文「Overthinking」展示了对推理模型的提取攻击。这些成果共同勾勒出 AI 安全正逐渐成熟为一门独立学科——拥有从静态代码分析到生产环境智能体运行时防火墙的专属工具体系。
常见问题
- Token-Flow Firewall 是什么？
- 一种运行时防御机制，对长生命周期 AI 智能体的自然语言 token 流进行语义监控，在智能体执行期间拦截可疑模式。
- 效果如何？
- 在 prompt injection 和对抗性攻击测试中，将攻击成功率降低至 12.5%。
- 为何持久智能体特别脆弱？
- 因为持久智能体运行时间长、执行步骤多，一次成功的指令注入可能影响整个任务链——运行时监控能捕获那些绕过训练防护的攻击。