arXiv:2606.20560: DiffusionGemma의 해석 가능성이 Gemma 4와 동등——28.6× 격차가 1.1×로 축소

DiffusionGemma: Gemma 4만큼 모니터링 가능한 확산 언어 모델

Joshua Engels, Callum McDougall, Bilal Chughtai, Neel Nanda가 이끄는 13명의 연구팀은 2026년 6월 18일, 확산 언어 모델의 해석 가능성을 최초로 체계적으로 검토한 논문을 발표했습니다. 연구는 DiffusionGemma에 초점을 맞추고 있습니다. 이 모델은 자기회귀적 토큰별 생성 방식이 아닌, 연속 잠재 공간에서의 확산 프로세스를 통해 텍스트를 생성하는 구글의 모델입니다.

초기 발견: Gemma 4보다 28.6배 높은 불투명도

별도 조정 없이 DiffusionGemma는 동일 규모의 자기회귀 모델인 Gemma 4보다 「불투명 직렬 깊이」가 28.6배 높습니다. 이 결과는 확산 모델이 모니터링과 해석 가능성을 근본적으로 저해함을 시사하는 것처럼 보이며, 안전성과 정렬(alignment) 측면에서 심각한 문제가 될 수 있습니다.

해결책: 해석 가능한 토큰 병목이 격차를 1.1배로 축소

본 논문의 핵심 기여는 「해석 가능한 토큰 병목」 기법입니다——모델의 내부 표현을 연구자가 읽을 수 있는 공간으로 매핑합니다. 이 기법을 적용하면 DiffusionGemma와 Gemma 4의 격차가 28.6배에서 1.1배로 줄어들어, 두 모델의 모니터링 가능성이 실질적으로 동등해집니다.

세 가지 새로운 확산 모델 고유 현상

논문은 확산 언어 모델에만 나타나는 현상을 식별합니다.

• 비시간순 추론 —— 모델이 왼쪽에서 오른쪽으로 순차적으로 추론하지 않음
• 토큰 및 시퀀스 스미어링 —— 정보가 여러 위치에 동시에 「퍼져나감」
• 중간 컨텍스트 추론 —— 자기회귀 아키텍처에는 유사물이 없는 방식으로 레이어 간 컨텍스트를 활용

결론: 확산 언어 모델도 동등하게 모니터링 가능

저자들은 확산 언어 모델도 자기회귀 모델만큼 모니터링 가능하다고 결론짓습니다. 다만, 이를 위해서는 GPT 계열 모델을 위해 개발된 방법을 직접 적용하는 것이 아니라, 목적에 맞게 설계된 해석 가능성 도구가 필요합니다. 이 논문은 프로덕션 환경에서 점점 더 많이 사용되는 확산 언어 모델의 보안 감사를 위한 길을 열어줍니다.