arXiv: CVP 모니터가 언어 모델 활성화에서 직접 우선순위 충돌을 읽어낸다

연구자 Tong Che와 Rui Wu는 언어 모델의 내부 우선순위 충돌을 활성화에서 직접 추적할 수 있다고 주장하는 프레임워크를 발표했습니다 — 생성된 토큰을 단 하나도 읽지 않고도. **Constitutional Value Potentials(CVP)**라 명명된 이 프레임워크는 모델의 숨겨진 상태에서 학습된 스칼라 값을 도입하여, 특정 헌법적 가치 보존을 위한 내부 ‘압력’을 나타냅니다. 출발점은 날카로운 관찰입니다: 두 가지 가치가 충돌할 때 — 모델이 하나를 희생해야 할 때 — 출력 텍스트는 가장 신뢰할 수 없는 증인입니다. 가치를 언어적으로 인용하는 모든 모델이 실제로 그 우선순위를 지키는 것은 아닙니다.

내부 태도의 척도로서 우선순위 마진

각 헌법적 가치에 대해 CVP는 모델의 숨겨진 상태에서 스칼라 포텐셜을 학습합니다. 모니터링의 핵심적 차이점은 이것입니다: 해당 포텐셜은 프롬프트 자체로 지도되는 것이 아니라, 모델이 실제로 응답에서 무엇을 보존했는지 — 무엇을 소중히 여긴다고 말했는지가 아니라 — 를 살피는 판사의 독립적 평가로 지도됩니다. 두 포텐셜의 부호 차이가 우선순위 마진을 형성합니다. 헌법 조항은 마진이 양수로 유지되는 한 충족된 것으로 간주됩니다; 마진이 0 아래로 떨어지는 순간 모니터는 잠재적 위반에 플래그를 세웁니다. 전체 감지 메커니즘은 모델의 출력 토큰을 단 하나도 읽지 않고 작동합니다 — 감지는 오롯이 활성화 공간에서 이루어집니다.

모니터가 응답이 끝나기 전에 위반에 플래그를 세울 수 있을까요?

그렇습니다. 신호는 입력 프롬프트의 끝부분과 첫 번째 응답 토큰에서 나타납니다. 이는 모델이 여전히 텍스트를 생성하는 동안 잠재적 위반이 이미 가시화된다는 의미입니다 — 완성된 응답의 사후 분석이 아닌 사전 감지. 적대적 시나리오에서 이는 특히 중요합니다. 기존 레드팀 도구들은 주로 ‘프롬프트가 공격적으로 보이는가’라는 질문에 답해왔습니다. CVP는 다른, 더 정확한 진단을 제시합니다: 적대적 시도가 실제로 모델의 내부 우선순위 마진을 위반 쪽으로 이동시켰는가, 아니면 공격적 표현에도 불구하고 모델이 안정적으로 유지되었는가? 이 두 상황은 완전히 다르지만, 출력 분석만으로는 신뢰할 수 있게 구별되지 않습니다.

AUROC 0.95와 새로운 충돌에 대한 일반화

모니터는 가치 충돌 감지에서 AUROC 최대 0.95를 달성하며 숨겨진 상태 기반의 강력한 프로브 방법들을 능가합니다. 실험은 Qwen2.5의 세 가지 규모 모델을 포함하며, 일반화는 학습 중에 보이지 않았던 held-out 합성 충돌에서 테스트되었습니다. 이는 실용적 적용을 위한 중요한 조건입니다: 실제 환경에서는 진정한 가치 충돌이 사전에 알려지지 않으므로, 이미 본 패턴에서만 작동하는 모니터는 제한적인 운영 가치를 가집니다. Held-out 세트의 결과는 CVP가 활성화 공간에서 우선순위 관계의 구조적 특성을 포착한다는 것을 시사합니다 — 학습 패턴과의 표면적 상관관계가 아니라.

감지와 개입을 위한 동일한 활성화

감지 외에도 저자들은 활성화 스티어링을 테스트합니다: 특정 가치와 관련된 활성화 방향을 따라 이동하면 모델의 추정 트레이드오프 결정도 원하는 방향으로 이동합니다. 저자들은 이를 완성된 프로덕션 도구가 아닌 개념 증명으로 설명하지만 — 개념적으로 중요한 발견입니다. 동작을 예측하는 신호와 그 동작을 변경하는 방향 사이의 차이는 활성화 공간이 우선순위 결정과 관련된 구조적이고 비무작위적인 표현을 포함한다는 것을 말해줍니다. 이는 CVP를 단순한 진단 도구가 아닌 잠재적 제어 메커니즘으로도 만듭니다.

레드팀과 Constitutional AI에 대한 관련성

CVP는 동시에 여러 활성 연구 라인을 다룹니다. Constitutional AI 방법으로서: 프레임워크는 헌법이 모델의 표현에 얼마나 잘 내면화되었는지에 대한 측정 가능한 신호를 제공합니다 — 테스트에서의 언어적 행동만으로 평가하는 대신. 정렬 모니터링을 위해: 우선순위 마진 추적은 최종 출력에 의존하지 않는 사전 신호를 제공합니다. 레드팀을 위해: 공격적으로 보이는 프롬프트와 실제로 내부 우선순위를 바꾸는 프롬프트 사이의 차이가 수량화된 변수가 됩니다.

저자들은 인식론적 정확성을 강조합니다: CVP는 모델이 철학적 의미에서 가치를 가진다고 주장하지 않습니다. 발견은 활성화 공간이 모델의 우선순위 결정과 공변하는 신호를 포함하며, 이 신호들이 학습되고 추적되며 조기 경보에 사용될 수 있다는 것입니다. CVP는 모델 가중치 변경이 필요 없으며 숨겨진 상태를 노출하는 모든 시스템에 외부 모니터로 적용 가능합니다. 논문은 투명하게 문서화된 방법론과 지표와 함께 arXiv에 게재되었으며, 독립적 재현과 추가 개발을 위해 연구 커뮤니티에 공개되어 있습니다.