arXiv:2606.18021: LegalHalluLens が示す法律 AI の幻覚率 52% という平均値に潜む 38 ポイントの格差
LegalHalluLens 論文は、CUAD 契約データを用いて法律 AI の幻覚を数値型・時間型・義務型・事実型の 4 カテゴリで分析しています。主要な発見：幻覚率 52% という集計値は、同一モデル内の最良カテゴリと最悪カテゴリの間に存在する 38〜40 パーセントポイントの格差を隠しており、これは集計指標では見えません。エージェント型の懐疑論者を用いた校正済み討論パイプラインにより、より小規模なモデルで誤検知を 45% 削減できます。
この記事はAIにより一次情報源から生成されました。
新プレプリント LegalHalluLens は、法律 AI における幻覚の平均率が誤解を招くことを示しています。なぜなら、エラーの種類による大きな差異が隠されてしまうからです。
タイプ別幻覚プロファイリング
LegalHalluLens は「型付き幻覚プロファイリング」を導入し、幻覚を 4 つのカテゴリに分類します：数値型、時間型、義務/権利型、事実型。分析は標準的な法的契約データセットである CUAD を用いて実施されました。ここでの幻覚とは、モデルが事実として主張するが、ソースに裏付けられていない断言を指します。
差異を隠す平均値
主要な発見は、幻覚率 52% という集計値が、同一モデル内の最良カテゴリと最悪カテゴリの間に存在する 38〜40 パーセントポイントの格差を隠しているという点です。言い換えると、あるモデルが特定の種類の断言では信頼できる一方、別の種類では非常に信頼できない場合があり、それが集計指標では見えません。論文ではさらに Risk Direction Index（RDI）も導入されており、これは省略バイアスと捏造バイアスを区別するスカラー値で、「方向を意識したリスク調達」を可能にします。
誤検知を削減するには？
提案された校正済み討論パイプラインはエージェント型の懐疑論者を使って断言に異議を唱え、誤検知を 45% 削減しながら、より小規模なモデルで商業レベルを達成しています。ICML 2026 の AIWILD ワークショップで発表されたこの論文は、集計された信頼性指標はリスク評価に不十分であることを示すものとして、法律チームにとって実践的な価値を持ちます。
よくある質問
- LegalHalluLens は何を測定しますか？
- CUAD 契約データを用いて、数値型・時間型・義務型・事実型の 4 カテゴリで法律 AI の幻覚を分析します。
- 集計指標はなぜ誤解を招くのですか？
- 52% という平均値は、同一モデル内の最良と最悪カテゴリの間にある 38〜40 パーセントポイントの格差を隠しています。