arXiv:2606.18021: LegalHalluLens가 법률 AI 환각률 52% 평균값 이면의 38 포인트 격차를 밝혀냅니다
LegalHalluLens 논문은 CUAD 계약 데이터를 활용해 수치형·시간형·의무형·사실형의 네 가지 유형으로 법률 AI 환각을 분석합니다. 핵심 발견：환각률 52%라는 집계 수치는 동일 모델 내 최우수 카테고리와 최하위 카테고리 사이의 38~40 퍼센트포인트 격차를 숨기고 있으며, 이는 집계 지표에서는 보이지 않습니다. 에이전트형 회의론자를 활용한 교정 토론 파이프라인은 더 작은 모델로 오탐지를 45% 줄입니다.
이 기사는 AI가 1차 출처를 기반으로 생성했습니다.
새 프리프린트 LegalHalluLens는 법률 AI의 환각 평균율이 오해를 낳는다는 점을 보여줍니다. 오류 유형 간의 큰 격차가 숨겨지기 때문입니다.
유형별 환각 프로파일링
LegalHalluLens는 「유형화된 환각 프로파일링」을 도입하여 환각을 네 가지 카테고리로 분류합니다：수치형, 시간형, 의무/권리형, 사실형. 분석은 표준 법률 계약 데이터셋인 CUAD를 사용하여 수행되었습니다. 여기서 환각이란 모델이 사실로 주장하지만 출처로 뒷받침되지 않는 진술을 의미합니다.
격차를 숨기는 평균값
핵심 발견은 환각률 52%라는 집계 수치가 동일 모델 내 최우수 카테고리와 최하위 카테고리 사이의 38~40 퍼센트포인트 격차를 숨긴다는 것입니다. 다시 말해, 어떤 모델이 특정 유형의 진술에서는 신뢰할 수 있지만 다른 유형에서는 매우 신뢰하기 어려울 수 있는데, 이것이 집계 지표에서는 보이지 않습니다. 논문은 Risk Direction Index（RDI）도 도입하는데, 이는 누락 편향과 날조 편향을 구분하는 스칼라 값으로 「방향 인식 리스크 조달」을 가능하게 합니다.
오탐지를 줄이는 방법은？
제안된 교정 토론 파이프라인은 에이전트형 회의론자를 활용하여 진술에 이의를 제기함으로써 오탐지를 45% 줄이고, 더 작은 모델로 상업적 수준을 달성합니다. ICML 2026의 AIWILD 워크숍에서 발표된 이 논문은 집계된 신뢰성 지표가 리스크 평가에 충분하지 않음을 보여준다는 점에서 법률 팀에 실질적인 가치를 제공합니다.
자주 묻는 질문
- LegalHalluLens는 무엇을 측정합니까？
- CUAD 계약 데이터를 활용해 수치형·시간형·의무형·사실형의 네 가지 유형으로 법률 AI 환각을 분석합니다.
- 집계 지표가 왜 오해를 낳습니까？
- 52%라는 평균값은 동일 모델 내 최우수와 최하위 카테고리 사이의 38~40 퍼센트포인트 격차를 숨기고 있습니다.