arXiv:2605.18732: 환각의 스케일링 법칙——더 큰 모델이 반드시 더 적은 오류를 의미하지는 않습니다

환각은 예측 가능합니다——수학적으로도

arXiv의 새 논문(2605.18732)은 불편하지만 유용한 결론을 도출합니다: confabulations(저자들이 「hallucinations」보다 선호하는 용어)은 무작위 오류가 아닙니다. 언어 유창성이나 컨텍스트 이해와 마찬가지로 스케일링 법칙을 따르는 예측 가능한 현상입니다.

룩셈부르크 대학교 연구팀이 38개 모델을 8,900개 이상의 과학적 참고 문헌에서 테스트하여, 사실 회상(factual recall) 품질이 두 가지 요소의 로그-선형 조합에서 시그모이드 곡선을 따른다는 것을 발견했습니다: 모델의 파라미터 수와 훈련 데이터에서의 주제 출현 빈도.

왜 시그모이드인가——실제로 무엇을 의미합니까?

시그모이드 함수는 비교적 좁은 입력 값 범위에 걸쳐 「거의 절대 정확하지 않은」에서 「거의 항상 정확한」으로의 전환을 설명합니다. 유추: 인간은 더 똑똑하다고 해서 방금 읽은 문장을 선형으로 더 잘 기억하지는 않습니다——아무것도 남지 않는 임계값과 모든 것이 남는 임계값이 있습니다.

LLM의 경우 이것은 다음을 의미합니다: 주제가 훈련 데이터에서 드물게 표현된 경우(예: 모호한 과학 논문), 큰 모델조차 confabulate합니다——저자, 연도, 결론을 만들어 냅니다. 반면 충분한 파라미터로 잘 다루어진 주제는 시그모이드 곡선의 「안전 구역」에 들어갑니다. 저자들은 이를 신호 대 잡음 비율로 모델링합니다: 신호는 데이터에서 개념의 빈도이고, 잡음은 그 아래에서 회상이 작동하지 않는 모델의 용량 「바닥」입니다.

Confabulation과 hallucination은 같은 것입니까?

완전히 같지는 않습니다. Hallucination은 모델이 입력이나 현실에 기반 없이 콘텐츠를 생성하는 모든 상황을 포함하는 더 광범위한 반형식 용어입니다. Confabulation(신경심리학에서 빌린 용어)은 더 정확하게 공백을 자신 있게 채우는 것을 설명합니다——모델은 자신이 모른다는 것을 모르고, 설득력 있지만 부정확한 답변을 합성합니다. 이 논문이 이 용어를 사용하는 것은 무작위성이 아닌 오류의 예측 가능성과 구조성을 강조하기 때문입니다.

실제 결과: 사실적 정확성 분산의 60–94%가 두 가지 측정 가능한 요소로 설명될 수 있습니다. 이는 모델을 모든 쿼리에서 테스트하지 않고 특정 주제에 대한 환각 위험을 사전에 추정할 수 있음을 의미합니다.