arXiv:2606.20560: DiffusionGemma の解釈可能性が Gemma 4 と同等に——28.6× の差が 1.1× へ縮小

DiffusionGemma：Gemma 4 と同等の監視可能性を持つ拡散言語モデル

Joshua Engels、Callum McDougall、Bilal Chughtai、Neel Nanda が率いる13名の研究チームは、2026年6月18日、拡散言語モデルの解釈可能性を初めて体系的に調査した論文を発表しました。研究の焦点は DiffusionGemma——Google が開発した、自己回帰的なトークン逐次生成ではなく、連続潜在空間における拡散プロセスによってテキストを生成するモデルです。

初期知見：Gemma 4 の28.6倍の不透明度

調整なしでは、DiffusionGemma の「不透明な直列深度」は、同サイズの自己回帰モデルである Gemma 4 の28.6倍に達します。この結果は、拡散モデルが監視と解釈可能性を根本的に妨げることを示唆しているように見え、安全性とアライメントの観点から深刻な問題となりえます。

解決策：解釈可能なトークンボトルネックが差を1.1倍に縮小

本論文の核心的な貢献は「解釈可能なトークンボトルネック」技術です——モデルの内部表現を研究者が読み取れる空間にマッピングします。この技術を適用すると、DiffusionGemma と Gemma 4 の差は28.6倍からわずか 1.1倍 へと低下し、両モデルの監視可能性はほぼ同等となります。

拡散モデル固有の3つの新現象

論文では、拡散言語モデルにのみ見られる現象が特定されています。

• 非時系列推論 —— モデルは左から右へと順序立てて推論しない
• トークンおよびシーケンスのスミアリング —— 情報が複数の位置に同時に「拡散」する
• 中間コンテキスト推論 —— モデルが、自己回帰アーキテクチャには類似物のない方法で層間コンテキストを活用する

結論：拡散言語モデルも同等に監視可能

著者たちは、拡散言語モデルも自己回帰モデルと同様に監視可能であると結論づけています。ただし、そのためには GPT 系モデル向けに開発された手法をそのまま適用するのではなく、専用の解釈可能性ツールが必要です。本論文は、本番環境での利用が増加する拡散言語モデルのセキュリティ監査に向けた道を開くものです。