なぜファインチューニングは幻覚を促進するのか？意味表現間の干渉——解決策はSelf-distillation SFT

新しい論文は何を明らかにしますか？

2026年4月20日に公開されたArXivの論文は、教師ありファインチューニングが大型言語モデルの幻覚を増加させるメカニズムを解明します。発見は反直感的です：幻覚は能力不足によるものでも、いわゆる行動クローニングによるものでもなく、重複する意味表現間の干渉という特定の現象によって引き起こされます。

定義：LLMの文脈での幻覚は、モデルが事実的に誤った情報を捏造し、正しい事実と同じ自信で真実として提示することを意味します。

ファインチューニングとは何ですか？なぜこれほど普及しているのですか？

定義：ファインチューニングは事前トレーニングされたモデルをより狭い特定のデータセットで追加トレーニングするプロセスで、モデルに新しいタスクやドメインを習得させることを目的としています。LLMを独自のニーズに適応させたいすべての真剣なチームが使用しています——カスタマーサポートボットから医療アシスタントまで。

問題はファインチューニングがしばしばモデルの一般的な知識を低下させることです。LLMが新しいことを「学ぶ」と、知っていたことの一部を忘れ、あるいは——さらに悪いことに——古い知識と新しい知識を想像上の主張に混ぜ始めます。

問題の背後にあるメカニズムは何ですか？

著者たちはモデルが能力不足（「満杯」ではない）のため知識を失うのではなく、行動クローニング（別のモデルを模倣する）によるものでもないと主張します。本当の原因はより微妙です：

重複する意味表現。 モデルは関連する概念をその内部空間の類似した部分に格納しています。ファインチューニング中に勾配が新しいドメインの重みを更新するとき、それらは隣接する表現——類似しているが同一ではない知識に関連するもの——も不注意に変更します。

比喩：図書館のすべての医学書を移動させると、同じ棚にある一部の生物学の本も移動させます。図書館が小さすぎるのではなく——領域が重複しているのです。

著者たちはどの解決策を提案しますか？

論文の主要な革新はSFT（Supervised Fine-Tuning）のSelf-distillation方法です。どのように機能しますか？

定義：Self-distillationはモデルが新しいデータと自身の以前の出力の両方から学習することを意味します。トレーニング中、勾配は新しい知識だけを最適化するのではなく、出力分布ドリフトも正則化します——応答の分布は元のものからあまり離れすぎてはなりません。

実際には：各トレーニングバッチには、モデルが以前に知っていたことへの「リマインダー」が含まれており、新しいことを学びながら古い知識を保護します。

ファインチューニングを継続学習として扱う

著者たちはSFTを継続学習の問題として扱います——古いタスクを忘れずに新しいタスクを学習することに取り組む機械学習のサブ分野。このアプローチはすでによく研究されたテクニックの全武器庫を開きます：Elastic Weight Consolidation、Replay Buffer、Parameter Isolationなど。

追加の解決策：選択的フリーズ

代替として、著者たちは選択的フリーズ——新しい知識が必要ない場合のシナリオでのパラメータの選択的フリーズ——を挙げています。新しい法律ドメインを学習させながら、メールの書き方を忘れさせたくない場合、書き方を制御しているネットワークの部分をフリーズします。

誰に役立ちますか？

センシティブなドメインでLLMをファインチューニングするすべてのチーム：

• カスタマーサポート — 返品ポリシーを捏造してはいけないボット
• 医療アシスタント — 診断を幻覚してはいけないモデル
• 法的ツール — 規制を正確に引用しなければならないシステム
• 金融アドバイザー — 市場データを捏造してはいけないツール

これらすべてにとって、Self-distillation SFTと選択的フリーズは既存のトレーニングパイプラインへの最小限の変更で今すぐ適用できる具体的なテクニックです。

結論

論文は明確な処方を与えます：ファインチューニングを最初からのトレーニングではなく継続学習として扱う。幻覚は避けられない結果ではなく——それらは既存の知識を保護しない粗いの重み更新の症状です。専門的なAIチームにとって、この発見は問題を「神秘的な現象」から解決可能なエンジニアリングタスクに変換します。