AWSがAmazon Novaモデルに選択的アンラーニング手法rDPOを導入

大規模言語モデルはいずれも、安全で倫理的な使用に必要な動作パターンを内包している——しかしそれらのパターンが正当なビジネスユースケースをブロックすることがある。フィッシングキャンペーンを詳しく分析する必要があるセキュリティアナリストや、臨床データにアクセスする医療専門家は、まさにこの問題に直面する。Amazon Web Servicesが解決策を発表した。Reverse Direct Preference Optimization（rDPO）——Amazon Novaモデル向けの選択的アンラーニング技術だ。

従来のアプローチが不十分な理由

モデル全体の標準的なファインチューニングはコストが高く、時間がかかり、リスクが伴う。新しい設定のたびに完全な再訓練が必要で、不適切に準備されたデータがモデルの有用性を永続的に損なう可能性がある。これまでのアンラーニング（機械的忘却）の試みは主に**Negative Preference Optimization（NPO）**に基づいていた——不要な動作を抑制するだけで、質の高い代替応答へとモデルを積極的に誘導しない手法だ。結果は信頼性に欠けた。モデルはトピックを避けるが、同じ領域で有用であり続ける保証がなかった。

rDPOの仕組み

rDPOは基本的なDPOの目標を逆転させる。何が悪いかを定義して抑制するだけでなく、対象ドメインの高品質な応答へとモデルを同時に誘導し、不要なパターンを抑制する——新しい経路を開きながら古い経路を閉じるようなものだ。

実装はLoRAアダプター（Low-Rank Adaptation）に基づく。軽量なアドオンが別途訓練され、凍結されたベースモデルに適用される。完全な再訓練はない。カスタマイズされたモデルバリアントはBedrock内でAmazon Resource Names（ARN）により一意に識別され、標準的なConverse APIコールでアクセスできる——つまり既存システムへの統合は単一パラメータの置き換えに帰する。rDPOは**ステップ30で既に訓練精度がほぼ100%**に達する——NPOが同等の信頼性で収束しないのと対照的に、これは劇的な前進だ。

RAIの柱ごとの測定可能な結果

AWSは4つのRAI（Responsible AI）の柱を通じて有効性を測定し、各柱で不要な拒否率（deflection rate）の低下を記録している。各柱は他と独立して選択的に有効化できる専用のLoRAアダプターを備えている。

• Safety（危険な活動、武器、規制物質）：**86.51%から32.77%**に低下——53.74パーセントポイントの削減
• Security（マルウェア、悪意あるコンテンツ）：**91.61%から45.73%**に低下——45.88ppの削減
• Sensitive Content（不適切表現、ヌード、不穏なコンテンツ）：**79.02%から33.58%**に低下——45.44ppの削減
• Fairness（偏見、文化的感受性）：**51.84%から23.83%**に低下——28.01ppの削減

粒度の細かさがこの設計の主要な利点だ。組織はセキュリティチームに脅威分析を許可するSafetyアダプターのみを有効化でき、Sensitive ContentやFairnessフィルターには一切影響しない。

有用性はほぼ変わらない

実用的な応用のための重要な論点は、アダプター適用後の標準ベンチマーク結果の低下が無視できるほど小さいことだ。

• Instruction Following：94.12%から92.57%——わずか**−1.55pp**の低下
• Math Mini：86.40%から85.20%——−1.20ppの低下
• MBXP Python（コーディング）：74.80%から73.00%——−1.80ppの低下

これらの結果は、rDPOが対象の動作を外科的に除去しながら、モデルの残りの部分はベースバージョンとほぼ同様に機能することを確認している。カスタマイズと有用性のトレードオフは非常に有利だ。

ビジネス環境での応用

Amazonは事業価値を示す4つの主要シナリオを特定している。

サイバーセキュリティ：従業員訓練のためのフィッシングシミュレーションを生成したり、実際の攻撃を分析したりするチームは、脅威の手法を理解するモデルが必要だ——しかしデフォルトのセキュリティフィルターはコンテキストなしにそのようなクエリを危険として処理し拒否する。

医療・臨床応用：臨床コンテンツ——薬の用量・症状の説明・外科的処置——は医療文脈では必要だが、デフォルトのセキュリティ設定はそれをセンシティブな素材として扱い、医師が日常的に必要とする応答をブロックする。

メディアと法律専門職：報道アーカイブ・法医学的素材・法的文書には、標準的なモデルが分析を拒否するコンテンツが定期的に含まれるが、専門的な文脈はデフォルトフィルターを発動する形式にかかわらず、まさにそのような分析を必要とする。

規制遵守：自社のAIシステムを監視する必要がある企業は、内部ポリシーの変更のたびに完全な再訓練なしに、精確に定義された動作範囲を持つ監査バリアントを作成できる。

rDPOはエンタープライズのカスタマイズのすべての課題に対する万能の解決策ではないが、完全な再訓練のコストとリスクなしに特定の動作ドメインを精密に制御する必要がある組織にとって、Amazon Bedrockを通じて今すぐ利用できる具体的で測定された選択肢を提供する。