arXiv:2606.18021: LegalHalluLens 揭示法律 AI 52% 幻觉平均值背后隐藏着 38 个百分点的差距
LegalHalluLens 论文针对 CUAD 合同数据，从数字型、时间型、义务型和事实型四类幻觉对法律 AI 进行分析。核心发现：52% 的总体幻觉率掩盖了同一模型最优与最差类别之间 38 至 40 个百分点的差距，而这在汇总指标中完全不可见。采用智能体型怀疑者的校准辩论流水线在使用更小模型的情况下，将误报率降低了 45%。
🤖
本文由人工智能基于一手来源生成。
新预印本 LegalHalluLens 表明，法律 AI 的幻觉平均率具有误导性，因为它掩盖了各类错误之间的巨大差异。
按类型进行幻觉分析
LegalHalluLens 引入「类型化幻觉分析」，将幻觉分为四类：数字型、时间型、义务/权利型和事实型。分析基于 CUAD 数据集——一个标准的法律合同语料库。这里的幻觉定义为模型作为事实陈述但无来源支撑的断言。
掩盖差异的平均值
核心发现是：52% 的总体幻觉率掩盖了同一模型最优与最差类别之间 38 至 40 个百分点的差距。换言之，一个模型在某类断言上可能相当可靠，而在另一类上则极不可靠——这在汇总指标中完全不可见。论文还引入了风险方向指数（RDI），这是一个区分遗漏偏差与捏造偏差的标量，用于「方向感知的风险采购」。
如何减少误报？
提出的校准辩论流水线利用智能体型怀疑者对断言发起挑战，从而将误报率降低 45%，同时以规模更小的模型达到商业级水准。该论文在 ICML 2026 的 AIWILD 研讨会上发表，对法律团队具有实际价值——它表明，汇总可靠性指标不足以进行风险评估。
常见问题
- LegalHalluLens 测量什么？
- 针对 CUAD 合同数据，从数字型、时间型、义务型和事实型四类幻觉对法律 AI 进行分析。
- 为什么汇总指标具有误导性？
- 52% 的平均值掩盖了同一模型最优与最差类别之间 38 至 40 个百分点的差距。