ArXiv：사고의 연쇄를 갖춘 표준 트랜스포머는 TC^0 복잡도를 벗어난 추론 불가 — 신호등 토큰이 길이 일반화 가능한 튜링 시뮬레이션 실현

Kraus, Sarrof, Yao, Koller, Hahn 팀은 2026년 4월 28일 프리프린트 **「트랜스포머에 의한 보편적 추론의 장벽（과 그 극복 방법）」**을 발표했습니다. 이는 현재 세대 LLM의 사고의 연쇄（CoT） 추론 확장에 직접적인 영향을 미치는 이론적 연구입니다.

무엇이 증명되었는가?

프리프린트의 핵심 논지：문헌에서 CoT가 이론적으로 트랜스포머의 표현력을 튜링 완전까지 향상시킨다고 알려져 있지만, 이 주장은 길이 일반화 학습（훈련에서 본 것보다 긴 CoT 추적을 해결하는 능력）의 더 엄격한 요건 하에서는 성립하지 않습니다.

추상 인용：

「표준 위치 인코딩과 유한 알파벳 하에서 — CoT를 갖춘 트랜스포머는 TC^0를 넘어서는 문제를 해결할 수 없으며, 즉 길이 일반화 가능한 학습 가능성의 더 엄격한 요건 하에서 표현력 이점이 성립하지 않는다.」

실제적 함의：훈련 길이에서는 해결되는 것처럼 보이는 많은 추론 문제가 시퀀스 길이가 증가하면 실패합니다. 이는 LLM이 긴 산술/논리 체인에서 「세기를 잊거나」 정확도를 잃는 이유를 설명합니다.

제안된 해결책

저자들은 두 가지 보완적인 메커니즘을 제안합니다：

1. 동적 어휘 확장

어휘는 문제 크기와 함께 성장합니다. 이로써 정리의 「유한 알파벳」 제한을 우회합니다.

2. 신호등 토큰 + 값 변화 인코딩

• 신호등 토큰 — 시뮬레이션 기계의 「테이프」의 각 위치에 할당된 고유 식별자
• 값 변화 인코딩 — 완전한 상태가 아닌 상태의 변화만 기록하여 카운팅을 통한 재구성을 가능하게 함

두 가지 결합이 주요 결과를 달성합니다：

「CoT 추적 길이가 시뮬레이션된 런타임에 대해 선형이고 상수 인수를 갖는 길이 일반화 가능한 튜링 기계 시뮬레이션.」

다시 말해：이 접근법은 최소한의 토큰 오버헤드로 TC^0 장벽을 돌파합니다.

실증적 검증

이론적 증명 외에도 저자들은 실증적 검증을 제공합니다 — 신호등 토큰과 값 변화 인코딩은 「복잡한 문제에서 길이 일반화 성능의 실질적 향상」을 보여줍니다. 전체 논문에서 더 상세한 분석이 이어질 예정입니다.

왜 중요한가?

이 연구는 더 많은 CoT 토큰을 추가하는 것만으로 추론을 확장하는 것이 작동하지 않는 이유를 설명하는 데 도움이 됩니다 — 훈련 데이터 부족만의 문제가 아니라 근본적인 이론적 장벽이 존재합니다. 차세대 LLM에 대한 함의：

• Anthropic Claude, OpenAI GPT, Gemini의 아키텍처는 길이 일반화를 위한 구조적 추가가 필요할 수 있습니다（신호등 토큰 또는 동등한 것）
• 다중 CoT 체인 툴 접근법（Mistral Vibe 또는 Anthropic Claude Code 하위 에이전트 등）은 이미 신호등 메커니즘과 유사한 것을 암시할 수 있습니다

이 연구는 업계 발표와 함께 추적해야 합니다 — 차세대 플래그십 모델 발표가 「새로운 위치 인코딩」 또는 「동적 어휘」를 언급한다면, 그것은 아마도 이 클래스의 이론적 문제에 대한 답변일 것입니다.