arXiv:2607.15218: 말은 안전하지만 행동이 사람을 죽일 때 — PRISM은 물리적 위험을 텍스트에서 분리한다

왜 텍스트는 ‘안전’한데 행동은 위험할 수 있는가?

Weimeng Wang와 공동 저자들은 언어 모델이 물리적 에이전트 — 현실 세계에서 행동을 수행하는 로봇이나 시스템 — 를 제어할 때, 전통적인 텍스트 안전성 검사가 위험을 포착하지 못한다는 것을 보여줍니다. Qwen2.5, Phi-3.5, SmolLM2 모델의 은닉 상태 공간(hidden state, 모델이 입력을 처리하는 과정에서 구축하는 내부 수치 표현)을 분석해, 연구팀은 『콘텐츠 위험성』(content danger, 텍스트 내용의 위험성)과 『물리적 위험성』(physical danger, 행동의 물리적 위험성)이 네트워크 내에서 분리 가능한 두 개의 신호이며, 동일한 현상을 두 번 측정한 것이 아님을 보여줍니다.

PRISM 방법

PRISM은 이러한 분리 가능성을 활용해, 텍스트 기반 판단에 의존하는 대신 모델의 내부 활성화로부터 직접 위험을 분류합니다. SafeAgentBench 벤치마크에서 이 방법은 오탐률(false positive rate, FPR — 안전한 작업이 위험하다고 잘못 표시되는 비율) 11.7-13.7%에서 86.2-87.7%의 정확도를 달성합니다.

표준 LLM 판정자와 비교한 결과

표준적인 접근 방식인 LLM 판정자(텍스트를 바탕으로 다른 모델의 안전성을 스스로 판단하는 언어 모델)는 동일한 테스트에서 안전한 작업을 과도하게 차단해 오탐률이 24.7-39.0%에 달합니다 — 이는 PRISM보다 2~3배 높은 오류율입니다. 이 차이는 1,000개의 대조 작업 쌍으로 구성된 새로운 벤치마크 PhysicalSafetyBench-1K에서 훨씬 더 두드러집니다. PRISM은 여기서 오탐 단 0.7%로 99.6%의 정확도를 달성하는 반면, 판정자 역할의 Qwen2.5-3B는 실제로는 안전한 작업의 무려 67.8%를 거부합니다.

왜 중요한가

0.7%와 67.8%라는 오거부율의 차이는, 물리적 세계에서 행동하는 에이전트에게는 텍스트 기반 판단만으로 충분하지 않다는 것을 보여줍니다. PRISM은 에이전트가 잠재적으로 위험한 행동을 수행하기 전에, 안전 계층이 생성된 텍스트뿐 아니라 모델의 내부 상태를 살펴봐야 한다는 것을 시사합니다.