arXiv:2605.27773: 8개 LLM 모델 연구, Chain-of-Thought 추론의 96%가 장식적이며 모델 결정에 영향을 미치지 않는다는 사실 밝혀

Pruthvinath Jeripitya Venkata의 프리프린트는 대형 언어 모델(LLM)에서 Chain-of-Thought(CoT) 추론에 관한 핵심 가정 중 하나에 의문을 제기한다. 그것은 모델이 생성하는 명시적인 추론 체인이 실제로 의사결정을 이끈다는 가정이다.

CoT가 96% 장식적이라는 것은 무슨 의미인가?

Chain-of-Thought(CoT) 추론은 언어 모델이 답변을 내놓기 전에 추론 과정을 단계별로 언어화하도록 지시하는 기법이다. 이 방법의 배경에 있는 가정은 가시적인 추론이 모델의 내부 인지 과정을 충실하게 반영한다는 것이다.

연구는 이 가정을 경험적으로 검증하고 반대 결과를 도출한다. 방법론은 이른바 “플립 쌍(flip pairs)” — 동일한 모델이 동일한 질문에 상반된 답변을 제시하는 상황 — 을 기반으로 한다. CoT가 실제로 결정을 이끈다면, 플립 쌍은 추론 텍스트에서 극적으로 다른 내용을 보여야 한다.

대신, 연구는 플립 쌍이 상반된 결론에도 불구하고 CoT 텍스트의 96% 유사성을 유지한다는 것을 보여준다(ROUGE-L 점수 d=0.45). 명시적 추론은 최종 결정과 거의 독립적으로 생성된다 — CoT는 소통을 위한 **“지식 표현 계층”**으로 기능하지만, 의사결정의 인과적 메커니즘은 아니다.

어떤 모델이 테스트되었으며 어떤 모델이 예외를 보이나?

연구는 4가지 프롬프트 조건에서 200개 질문과 8개 언어 모델을 포함했다. 모델들은 지식 충돌 시나리오, 즉 입력 문서가 훈련 데이터와 모순되는 상황에서 테스트되었다.

GPT-4o는 추론과 의사결정 사이의 통계적으로 신뢰할 수 있는 연관성을 보여주는 유일한 모델로, 테스트된 집합에서 유일한 긍정적 예외다. Claude Sonnet 4.6은 가장 넓은 신뢰도 수준 범위를 보이지만, CoT 텍스트와 최종 결정 사이의 전체적인 상관관계는 거의 0에 가깝다.

왜 내부 사고 토큰이 결정을 더 잘 드러내는가?

통계적으로 유의미한 발견: **내부 사고 토큰(thinking tokens)**은 사용자 CoT 텍스트보다 결정에 대한 더 높은 민감도를 보인다(p=0.033). 이는 모델이 내부적으로 “생각하는” 것과 명시적으로 추론으로 언어화하는 것 사이에 차이가 있음을 시사한다.

모델 해석 가능성을 위해 CoT에 의존하는 실무자들에게, 저자들은 **“논거가 아닌 신뢰도를 읽어라”**고 조언한다. 명시적 추론 체인은 결정이 실제로 어떻게 형성되는지를 충실하게 나타내지 못할 수 있다 — 특히 입력 데이터가 훈련 지식과 모순되는 상황에서 더욱 그렇다.