arXiv:2605.25603: CIE-Scorer, LLM의 부정직한 연쇄 추론(CoT)을 탐지하는 새로운 방법 제안

CIE-Scorer는 어떤 문제를 해결하나요?

Xu Shen, Zhen Tan, Song Wang, Pingjun Hong, Rui Miao, Xin Wang, Tianlong Chen이 CIE-Scorer를 발표했습니다. 이는 대규모 언어 모델(LLM)에서 불충실한 연쇄 추론(unfaithful Chain-of-Thought, CoT)을 탐지하는 프레임워크입니다.

연쇄 추론(Chain-of-Thought, CoT)은 LLM이 최종 답변을 내놓기 전에 단계별 추론 과정을 작성하도록 유도하는 기법입니다. 문제는 이 가시적인 추론이 모델의 실제 계산 과정을 반드시 반영하지 않는다는 점입니다. 모델이 겉으로 보여주는 논리와 실제로 결론을 도출하는 방식이 다를 수 있습니다. 이러한 부정확한 표현은 AI 시스템의 해석 가능성과 신뢰성을 저해합니다.

CIE-Scorer는 어떻게 작동하며, 기존 방법과 무엇이 다른가요?

기존의 불충실한 CoT 탐지 방법들은 주로 텍스트의 설득력과 같은 외부 신호에 의존해 왔습니다. CIE-Scorer(Circuit-guided Internal-External discrepancy Scorer)는 메커니즘적 해석 가능성, 즉 모델 내부 계산 구조 분석을 외부 추론 분석과 통합합니다.

구체적으로 CIE-Scorer는:

• 전체 모델의 비용이 큰 완전 회로 대신, 문장 수준의 중요한 추론 토큰으로 컴팩트한 회로(circuits)를 구성합니다
• 모델이 내부적으로 정보를 처리하는 방식을 표현하는 내·외부 추론 그래프를 개발합니다
• 두 그래프 사이의 차이를 측정하기 위해 Fused Gromov-Wasserstein 거리(그래프 구조 간 차이를 나타내는 수학적 척도)를 사용합니다
• 비용이 큰 집계 통계 없이 인스턴스 수준에서 작동합니다. 각 샘플을 개별적으로 처리합니다

결과는 어떠하며, AI 시스템 개발에 왜 중요한가요?

CIE-Scorer는 FaithCoT-Bench 벤치마크 컬렉션의 네 개 데이터셋에서 이전 방법보다 현저히 낮은 계산 비용으로 최첨단 결과를 달성했습니다. 주된 이유는 대규모 모델에서 구축 비용이 큰 완전 회로 대신 컴팩트한 회로를 사용하기 때문입니다.

불충실한 CoT 추적을 신뢰성 있게 탐지하는 능력은 투명성과 추론의 감사 가능성이 필수적인 고위험 시나리오, 예를 들어 의료, 법률, 금융 분야에서 LLM을 활용하기 위한 핵심 요건입니다.