arXiv:2607.15218：言葉は安全でも行動が命を奪うとき——PRISMは物理的危険をテキストから切り分ける

なぜテキストは「安全」でも行動は危険になり得るのか？

Weimeng Wangと共著者らは、言語モデルが物理エージェント——現実世界で行動を実行するロボットやシステム——を制御する際、従来のテキスト安全性チェックがリスクを捉えられないことを示しています。Qwen2.5、Phi-3.5、SmolLM2モデルの隠れ状態空間（hidden state、モデルが入力を処理する過程で構築する内部の数値表現）を分析することで、チームは「コンテンツの危険性」（content danger、テキスト内容の危険性）と「物理的危険性」（physical danger、行動の物理的危険性）がネットワーク内の2つの分離可能な信号であり、同じ現象を二度測定しているわけではないことを示しています。

PRISM手法

PRISMはこの分離可能性を利用し、テキストによる判断に頼るのではなく、モデルの内部活性化から直接リスクを分類します。SafeAgentBenchベンチマークにおいて、この手法は偽陽性率（false positive rate、FPR——安全なタスクが誤って危険とラベル付けされる割合）11.7〜13.7%で86.2〜87.7%の精度を達成しています。

標準的なLLM判定器と比較した結果

標準的なアプローチであるLLM判定器（テキストに基づいて別のモデルの安全性を自ら判定する言語モデル）は、同じテストで安全なタスクを過剰にブロックし、偽陽性率は24.7〜39.0%に達します——これはPRISMの2〜3倍のエラー率です。この差は、1,000組の対照タスクを含む新しいベンチマークPhysicalSafetyBench-1Kにおいてさらに顕著になります。PRISMはここで偽陽性わずか0.7%で99.6%の精度を達成する一方、判定器としてのQwen2.5-3Bは実際には安全なタスクの67.8%もの割合を拒否してしまいます。

なぜ重要なのか

誤拒否率が0.7%と67.8%であるという差は、物理世界で行動するエージェントにとって、テキストによる判断だけでは不十分であることを示しています。PRISMは、エージェントが潜在的に危険な行動を実行する前に、安全層は生成されたテキストだけでなくモデルの内部状態を見るべきであることを示唆しています。