arXiv:2606.09700:排版攻击以低于1%的检测率绕过AI内容审核系统
HPAA是一种利用空格、强调和文本空间排列来向自动检测器隐藏有害内容、同时对人类保持可读的排版攻击。该研究已被USENIX Security 2026接收,在13个系统上测试,人类识别率超过86%,检测率低于1%。
本文由人工智能基于一手来源生成。
来自田纳西大学、IBM Research和伊利诺伊大学的研究人员于2026年6月8日发布了论文arXiv:2606.09700 v1,定义了一类针对内容审核系统的新型攻击。该方法——已被USENIX Security 2026接收——完全基于文本排版操作,不改变语义信息,也无需访问审核模型的内部参数。
什么是HPAA攻击
HPAA(Human-Perceptible Adversarial Attacks,人类可感知对抗性攻击)是一种利用空格、强调和文本空间排列——可见的排版元素——向自动检测器隐藏有害内容、同时对人类保持易读的攻击。与像素级对抗性扰动或隐藏的Unicode标记不同,HPAA操作是清晰可感知的:读者毫不费力地解读出信息,而审核系统则将内容分类为安全。
测试结果:13个系统、86%、低于1%
作者——Qin Yang、Lu Malloy、Joshua Lee、Xiaohan Chang、Meisam Mohammady、Doowon Kim和Yuan Hong——在13个商业和开源内容审核系统上测试了该方法:
- >86% 的人类识别率——评估小组正确识别出排版修改形式中的有害内容
- <1% 的检测率——自动审核器几乎无法识别攻击
- 仅3次查询——无梯度信息的黑盒方法
对比鲜明:算法认定为安全的同一段文本,人类在超过86%的情况下将其识别为有害。机器检测与人类感知之间的差距此前从未以如此精确度被量化。
为什么AI审核器「看不见」被操控的排版?
原因在于LLM与人类视觉系统之间的架构不对称性。LLM标记化按照静态规则将文本分解为子序列,没有视觉感知层——而人脑能自动重建被操控文本的预期含义。攻击者在字母之间插入的空格或意外换行对读者而言不改变语义,但会破坏审核器用于检测的标记化模式。
作者得出结论,仅对现有审核器进行微调是不够的:长久之计需要视觉预处理层或对排版噪声具有鲁棒性的标记化方案。
常见问题
- 什么是HPAA攻击,它与传统对抗性攻击有何不同?
- HPAA仅使用排版操作——人类可见的空格、强调和空间排列,不同于像素级扰动或隐藏的Unicode标记。攻击者无需访问审核模型的内部参数或梯度。
- 这对AI平台安全和用户有什么影响?
- 研究表明解决方案是结构性的:AI内容审核系统需要能模拟人类排版感知的视觉预处理层。仅对现有审核器进行微调是不够的。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率,一键退订。