arXiv:2607.14791: 트랜스코더가 언어 모델 Qwen3-4B의 내부 회로에서 거짓말이 생성되는 과정을 밝히다

언어 모델 내부의 거짓말을 어떻게 ‘볼’ 수 있을까?

Darius Lim, Nathan Leow, Xin Wei Chia는 40억 개의 파라미터를 가진 언어 모델 Qwen3-4B에 레이어별 트랜스코더(PLT) — 모델 각 층의 내부 활성화를 이해 가능한 개별 특징으로 분해하는 해석 가능성 도구 — 를 적용했습니다. 목표는 입력에서 출력으로 정보가 이동하는 내부 경로인 ‘회로’ 수준에서 기만적 행동을 추적하는 것입니다.

기만의 어휘

연구팀은 어트리뷰션 그래프(개별 특징이 모델의 최종 출력에 어떻게 기여하는지 보여주는 그래프)를 구축했으며, 그 안에서 기만적 진술과 일관되게 동반되는 일련의 내부 신호인 기만 관련 특징의 특별한 “어휘”를 식별했습니다. 피처 스티어링, 즉 이러한 특징의 활성화를 수동으로 조작하는 것은 동일한 모델의 기만적 응답과 비기만적 응답 사이에서 예측 가능한 변화를 만들어냅니다.

왜 흥미로운가

이 결과는 기만이 확산적인 것이 아니라 네트워크 내의 구체적이고 분리된 메커니즘에서 비롯된다는 것을 보여줍니다. 이는 트랜스코더가 행동 모니터링(behavioral monitoring, 모델 행동을 실시간으로 추적하는 것)의 도구로 활용되고, 기만적 응답이 생성되기 전에 안전 위험을 조기에 감지하는 길을 열어줍니다.