ArXiv：思考の連鎖を持つ標準的なトランスフォーマーはTC^0複雑性を超えた推論ができない — シグナルポストトークンが長さ汎化可能なチューリング模倣を可能に

Kraus、Sarrof、Yao、Koller、Hahnのチームは2026年4月28日、プレプリント**「トランスフォーマーによる普遍的推論への障壁（とその克服方法）」**を発表しました。これは現行世代LLMの思考の連鎖（CoT）推論のスケーリングに直接的な影響を持つ理論的研究です。

何が証明されたのか？

プレプリントの主要な論点：文献ではCoTが理論的にトランスフォーマーの表現力をチューリング完全まで向上させると知られていますが、この主張は長さ汎化学習（訓練で見たものより長いCoTトレースを解く能力）のより厳しい要件の下では成立しません。

アブストラクトからの引用：

「標準的な位置エンコーディングと有限アルファベットの下 — CoTを持つトランスフォーマーはTC^0を超えた問題を解くことができず、すなわち長さ汎化可能な学習可能性のより厳しい要件の下では表現力のメリットが成立しない。」

実際的な含意：訓練の長さでは解けているように見える多くの推論問題が、シーケンス長が増加すると失敗します。これはなぜLLMが長い算術/論理の連鎖で「数えることを忘れる」または精度を失うかを説明します。

提案された解決策

著者たちは2つの補完的なメカニズムを提案します：

1. 動的な語彙スケーリング

語彙は問題のサイズと共に成長します。これにより定理の「有限アルファベット」制限が回避されます。

2. シグナルポストトークン + 値変化エンコーディング

• シグナルポストトークン — シミュレーションマシンの「テープ」の各位置に割り当てられた固有識別子
• 値変化エンコーディング — 完全な状態ではなく状態の変化のみをログ記録し、カウントによる再構成を可能に

この組み合わせにより主要な結果が得られます：

「CoTトレースの長さがシミュレーションされたランタイムに対して線形で定数係数となる長さ汎化可能なチューリング機械のシミュレーション。」

言い換えれば：このアプローチは最小限のトークンオーバーヘッドでTC^0の障壁を突破します。

実証的検証

理論的証明に加えて、著者たちは実証的検証を提供しています — シグナルポストトークンと値変化エンコーディングは「複雑な問題での長さ汎化性能の実際の改善」を示しています。完全な論文ではより詳細な分析が続く予定です。

なぜ重要なのか？

この研究は、より多くのCoTトークンを追加するだけで推論をスケールさせることが機能しない理由を説明するのに役立ちます — 訓練データ不足だけでなく、根本的な理論的障壁が存在します。次世代LLMへの示唆：

• Anthropic Claude、OpenAI GPT、Geminiのアーキテクチャは長さ汎化のための構造的な追加が必要かもしれません（シグナルポストトークンまたはその等価物）
• 乗算されたCoT連鎖ツールアプローチ（Mistral VibeやAnthropic Claude Code Sub-agentsなど）はすでにシグナルポストメカニズムに類似したものを暗示しているかもしれません

この研究は業界の発表と合わせて注目する必要があります — 次世代フラッグシップモデルの発表が「新しい位置エンコーディング」や「動的語彙」について言及した場合、それはおそらくこのクラスの理論的問題への回答です。