Anthropic、危険な知識の「オフスイッチ」を開発：GRAMが二重利用可能な能力を除去可能なモジュールに分離

危険な知識の制御に向けた新しいアプローチ

十分に強力な言語モデルは、同時に悪用のツールとなり得る。病原体に関する同じ文章が研究者の役に立つ一方で、生物兵器を開発しようとする者の役にも立つ。この問題への標準的なアプローチ——トレーニングデータのフィルタリングや事後的なアンラーニング——は安全性研究者の要求を完全には満たしてきたとは言えない。

AnthropicはAE Studioと共同で、根本的に異なるアプローチを提案する研究論文を発表した：危険な知識をトレーニング後に取り除くのではなく、トレーニング中に特別な除去可能なモデルコンポーネントへと分離するというものだ。

GRAMとは何か、どのように機能するか

GRAM（勾配ルーティング補助モジュール）はTransformerアーキテクチャの各層にニューラルモジュールのセットを追加する——二重利用の知識カテゴリごとに1つのモジュールを持つ。核心的な革新は学習方法にある：モデルが二重利用コンテンツ（例えばウイルスの合成に関するテキスト）に出会うと、モデルの一般パラメータは一時的に凍結される。関連するモジュール——例えば「ウイルス学モジュール」——だけがそのマテリアルから重みを更新する。

結果は明確な分離だ：一般的な知識と推論能力は基本パラメータに無傷で残り、二重利用の知識は専用モジュール内にのみ存在する。モジュールを削除することで、対応する能力がモデルがそのデータでトレーニングされなかった場合とほぼ同等に効果的に除去される——これが研究論文の核心的な主張だ。

実験的テストの3フェーズ

研究者たちは方法論的なアプローチで3つの独立したテストフェーズを実施した。

第1フェーズは合成データを使用した——童話でトレーニングされた小さなモデルだ。目標は基本原理を証明することだった：実際に独立した勾配経路が存在するか、そしてモジュールの削除は機能するか？

第2フェーズは現実的なデータに移行した：ウェブテキスト、コード、科学論文、4つの二重利用カテゴリ——ウイルス学、サイバーセキュリティ、核物理学、専門プログラミング言語。実験により、モジュールの削除が一般タスクの性能劣化なしに各カテゴリで能力を効果的に除去することが確認された。

第3フェーズは5,000万から50億パラメータの7つのモデルサイズでスケーラビリティをテストした。主要な発見：GRAMの有効性はモデルサイズとともに向上する——モジュールありバージョンとモジュールなしバージョンの間のギャップはモデルが大きくなるほど拡大する。

AIの安全性にとってなぜ重要なのか？

従来の手法——データフィルタリングとアンラーニング——には共通の欠点がある：いずれも知識回復の試みに対して脆弱だ。十分な忍耐強さでファインチューニングするか敵対的攻撃を加えることで、能力を部分的に取り戻すことができる。

GRAMはこれらの試みに対してより堅牢だ。なぜなら二重利用の知識は、事後的なトレーニングで再活性化できる可能性があるモデルの部分には組み込まれないからだ。知識の回復にはモジュールを再トレーニングする必要があり——元のデータとトレーニングインフラへのアクセスを必要とするコストのかかる操作だ。

実際的には、4つの二重利用カテゴリでの1回のトレーニングランは16種類の異なるモデル設定をもたらす（2⁴ = 16）。組織は、ウイルス学モジュールが無効化されたモデルをその能力を必要としないクライアントに配布でき、適切なクリアランスを持つ研究機関にはモジュールが有効化されたバージョンを提供できる——すべて同じトレーニングから、再起動することなく。

研究の限界と現状

GRAMがまだできていないことを指摘することが重要だ：Anthropicは明示的に、この手法が現時点でいかなるプロダクションのClaudeモデルにも適用されておらず、フロンティアサイズ（50億パラメータ以上）でのテストも行われていないと述べている。

研究者たちはまた、「二重利用の知識」という概念自体の測定が自明な問題ではないとも指摘している——合法的な知識と危険な知識の境界は曖昧で文脈依存的だ。GRAMは分離と削除のための技術的解決策を提供するが、何を分離すべきかを定義することは政治的かつ認識論的な課題として残る。

それでも、GRAMはフロンティアモデルがどのように開発・配布されるかに長期的に影響を与える可能性のある概念的な転換を表している——事後的なアプローチよりも堅牢な、組み込みの知識アクセス制御を備えて。