ArXiv：RePAIRが再訓練なしにLLMに目標情報を「忘れさせる」ことを可能にする

Jagadeesh Rachapudiが率いる研究チームがRePAIRを発表しました——インタラクティブな機械的忘却（Interactive Machine Unlearning、IMU）の概念を導入するフレームワークです。このシステムにより、ユーザーは自然言語プロンプトを通じてLLMに目標情報を忘れるよう命令でき、再訓練なしにリアルタイムで実行できます。

3つのモデルシステムはどのように機能しますか？

RePAIRは3つの専門化されたコンポーネントのアーキテクチャを使用します。ウォッチドッグモデルは守護者として機能し——ユーザーのプロンプトに特定の情報を忘れるよう求めるリクエストが含まれているかどうかを検出します。サージョンモデルは「修復」のための精密な指示を生成し——ニューラルネットワーク内のどの活性化をリダイレクトする必要があるかを定義します。患者モデル——使用されているLLM自体——がこれらの修復を自律的に実行します。

この三部構成のアーキテクチャは、ユーザーが単純に「Xという人物についてすべてを忘れてください」または「Yというプロセスに関する知識を削除してください」と言うだけで、システムが自動的にモデル内の関連情報を識別し、位置を特定し、無効化することを意味します。

STAMPとは何で、なぜ主要なイノベーションなのですか？

STAMP（擬似逆行列による活性化操作を通じたステアリング）はRePAIRの核心です。この手法は、擬似逆行列の閉形式を使用して、多層パーセプトロン（MLP）レイヤーの活性化を拒否サブ空間——回答の拒否に対応する活性化空間の部分——にリダイレクトします。

重要なのはSTAMPが訓練をまったく必要としないことです。変更は解析的に計算されるため、忘却は再訓練が必要な数時間や数日ではなく数秒で完了します。結果は忘却スコアがほぼゼロ（情報が実際に削除されている）で、モデルの全体的な有用性を維持します——モデルは他のすべてのタスクに対して通常通り動作し続けます。

これが規制とプライバシーにとって重要な理由は何ですか？

RePAIRは3つの具体的なシナリオに対応します：有害な知識の抑制（危険物質の製造方法など）、誤情報の修正（モデルが学習した不正確な事実の削除）、ユーザーの要求に応じた個人データの削除です。

最後のシナリオは、欧州GDPRと忘れられる権利（Right to Erasure）の文脈で特に関連性があります。これまで、訓練済みモデルから特定のデータを削除するには高価で時間のかかる再訓練が必要でした。RePAIRは実用的な代替手段を提供します——オンデマンドの忘却、リアルタイム、パフォーマンスの低下なし。

複数のベンチマークの結果は、RePAIRが6つの既存の最先端機械的忘却手法を上回り、忘却の完全性と有用な能力の維持の間でより良いバランスを提供することを示しています。