arXiv:2606.20225: 活性化方向がLLMの誤整合を99.6%の精度で検出

4つのモデルファミリーに共通する誤整合のシグネチャ

研究者Abdul Rafay Syedは2026年6月19日、活性化空間における共通の幾何学的方向の発見を記述した論文を発表しました。この方向は、整合された大規模言語モデルと誤整合された大規模言語モデルを明確に識別します。分析の対象は、Qwen2.5、Gemma-2、Llama-3.2、Ministral-3の4つの異なるファミリーで、誤整合を誘発するためにすべて安全でないコードでファインチューニングされています。

主要な結果として、本手法は整合モデルと誤整合モデルの活性化の間で 99.6%の分離 を達成しています。これは、モデルの内部幾何構造ではなくブラックボックスの行動評価（ベンチマークテスト）に依存していた従来のアプローチと比較して、非常に高い精度です。

指向性ステアリングがコード漏洩を21〜51ポイント削減

特定された方向は検出だけでなく、能動的に制御にも利用できます。指向性ステアリング（活性化方向制御）技術は、モデルと設定に応じて、いわゆるコード・スピルオーバー（安全でないコードパターンの漏洩）を 21〜51パーセントポイント 削減します。

比較として、標準的なRLHF整合手法では高コストな再学習が必要ですが、このアプローチはモデルの重みを変更せずに活性化空間に直接介入します。

GemmaとQwenが幾何学的ドナー、Llamaが受信者

特に興味深い発見がクロスモデル転移です。Gemma 2とQwen 2.5で学習した方向をLlama 3.2に転移させ、そこでの誤整合を最大 46ポイント 抑制できることが示されました。著者はGemmaとQwenを「幾何学的ドナー」と表現しています——内部の整合幾何構造が他のアーキテクチャに情報を提供できるほど堅牢なモデルです。

ただし、レビューと監査の目的には、著者はウィズイン・モデル・プロービング——検査対象のモデル自体を内部から分析すること——を推奨しています。クロスモデル転移は解釈に不確実性をもたらすためです。

LLMシステムのセキュリティ監査への示唆

本論文は、潜在的に安全でないデータでファインチューニングされたモデルのバージョンを監査する必要がある組織に実用的なツールを提供しています。網羅的な行動テストの代わりに、活性化方向を測定し、同じファミリーの参照整合モデルと比較するだけで十分です。本手法は高速で解釈可能であり、そして重要なことに——アーキテクチャ固有の調整なしに複数のアーキテクチャにわたって一貫して機能します。