基礎
ハルシネーション（幻覚）
言語モデルが、もっともらしく自信に満ちた口調で、実際には事実と異なる・でたらめな・根拠のない情報を生成してしまう現象です。AIシステムの信頼性を損なう主要な課題のひとつです。
**ハルシネーション（幻覚）**とは、AIモデル、特に大規模言語モデルが流暢で自信に満ちた文体で事実に反するアウトプットを生成する現象です。典型的な例としては、存在しない論文への捏造された引用、でっち上げた発言の引用、架空の判例、誤ったAPI署名、もっともらしいが虚偽の人物プロフィールなどがあります。モデルは「嘘をついている」わけではなく、統計的に確率の高い続きを生成しているにすぎず、それがたまたま事実でないということです。
原因としては、訓練データのギャップ、訓練データ内の矛盾した情報、作り話を誘発する曖昧なプロンプト、そして次のトークンの予測という根本的な仕組み（真実よりも「それらしさ」を最適化する）が挙げられます。
軽減策：
- 検索拡張生成（RAG）： 検証済みの知識ベースに基づいて回答を定着させる
- 引用： プロンプト内のソースを引用するようモデルに要求する
- 推論モデル： 長い思考の連鎖（chain-of-thought）により一部のエラーを削減する
- 検証モデル： 別のモデルが最初のモデルの主張を確認する
- 温度を下げる： よりサンプリングの多様性を抑制する
- システムプロンプト： 「確信が持てなければ『わかりません』と答えてください」と明示する
ハルシネーション率はGPT-3.5時代から現在のフロンティアモデルまでに大幅に低下していますが、問題は完全には解決されていません。本番AIシステムには慎重な評価が必要であり、LLMの出力は検証なしには権威ある情報として扱えないことをユーザーに周知することが重要です。