arXiv:2607.15218: 当言语安全但行动致命时——PRISM将物理危险从文本中区分出来

为什么文本可能”安全”，而行动却危险？

Weimeng Wang及其合作者表明，当语言模型控制一个物理代理——一个在现实世界中执行动作的机器人或系统时，传统的文本安全检查无法捕捉到风险。通过分析Qwen2.5、Phi-3.5和SmolLM2模型的隐藏状态空间（hidden state，模型在处理输入过程中构建的内部数值表示），团队表明「内容危险」（文本内容的危险性）与「物理危险」（行动的物理危险性）是网络中两个可分离的信号，而非被测量了两次的同一现象。

PRISM方法

PRISM利用这种可分离性，直接从模型的内部激活中对风险进行分类，而不是依赖文本判断。在SafeAgentBench基准测试上，该方法取得了86.2-87.7%的准确率，误报率（false positive rate，FPR——被错误标记为危险的安全任务所占的百分比）为11.7-13.7%。

相对于标准LLM评判器的结果

标准方法，即LLM评判器（一个根据文本自行判断另一个模型安全性的语言模型），在同一测试中过度拦截了安全任务，误报率高达24.7-39.0%——比PRISM高出两到三倍的错误率。在新基准测试PhysicalSafetyBench-1K上，这一差异更加明显，该基准包含1000对对比任务：PRISM在此取得了99.6%的准确率，误报率仅为0.7%，而作为评判器的Qwen2.5-3B却拒绝了高达67.8%实际上安全的任务。

为什么这很重要

0.7%与67.8%这两个错误拒绝率之间的差距表明，对于在物理世界中行动的代理而言，仅靠文本判断是不够的。PRISM表明，安全层应当在代理执行潜在危险行动之前，审视模型的内部状态，而不仅仅是生成的文本。