ArXiv：大規模言語モデルが有害な回答を生成する原因となるニューロンを特定

大規模言語モデルは広範な安全性トレーニングを受けているにもかかわらず、なぜ時として有害な回答を生成するのでしょうか？新しい研究が因果媒介分析を用いて、モデル内部でこの現象を引き起こす正確なメカニズムを明らかにしました。

核心的発見：後半層とMLPブロック

研究者たちは、有害コンテンツの生成がモデルの後半層で発生し、主にアテンションブロックではなくMLP（多層パーセプトロン）ブロックの誤動作によるものであることを確認しました。モデルの前半層はプロンプト内の有害なコンテキストを理解し、MLPを通じてそのシグナルを出力層に伝播させています。

制御メカニズムとしてのニューロン

特に興味深い発見は、最終層の少数のまばらなニューロンが一種の制御メカニズム——有害コンテンツが生成されるかブロックされるかを決定する「ゲート」として機能していることです。

これは、モデルの安全性に関する挙動がネットワーク全体に拡散しているのではなく、特定の識別可能なコンポーネントに集中していることを意味します。

AI安全性にとっての意味

この発見は標的を絞ったセキュリティ介入への道を開きます。モデル全体に対する高コストなRLHFトレーニングの代わりに、有害な出力を制御する重要なニューロンのみを外科的に修正できる可能性があります。これはより速く、より安価で、より精密です。

RLHF（人間のフィードバックによる強化学習）のような現在の手法は、モデルを「ブラックボックス」として扱い、外部から挙動を変えようとします。この研究は、より精密なメカニスティックアプローチによる安全性——つまり症状に対する投薬と外科手術の違いのようなもの——が可能であることを示唆しています。