훈련
생각의 사슬 (Chain-of-Thought)
언어 모델이 최종 답변을 내놓기 전에 일련의 중간 추론 단계를 작성하도록 하는 기법으로, 복잡한 다단계 과제에서 정확도를 크게 높인다.
생각의 사슬(Chain-of-Thought, CoT)은 대규모 언어 모델이 최종 답변을 내놓기 전에 일련의 중간 추론 단계를 생성하도록 하는 기법으로, 말하자면 모델이 “생각을 소리 내어 적는” 것이다. 모델은 해답을 곧바로 출력하는 대신 문제를 더 작은 단계로 분해하며, 이로써 산술·논리·다단계 과제에서 정확도가 크게 향상된다.
이 기법은 2022년 구글 브레인(Google Brain)의 연구자들(Wei 외)이 제안했다. 본래 형태에서는 문맥 내 학습의 일종으로, 추론 단계를 보여 주는 예시를 프롬프트에 포함한다. 이후 연구자들은 “단계별로 생각해 보자”라는 문구만 덧붙여도 예시 없이 제로샷 CoT를 끌어낼 수 있음을 발견했다.
생각의 사슬은 OpenAI의 o1/o3 시리즈, DeepSeek R1, 확장 사고(extended thinking)를 갖춘 Claude 등 현대 추론 모델의 토대다. 2024~2026년에 걸쳐 이 모델들은 CoT를 프롬프트 기법에서 훈련으로 내재화된 특성으로 바꾸었으며, 추론 시 연산량을 정확도와 맞바꾸는 새로운 확장 축을 열었다.