arXiv:2605.27773: 8つのLLMモデルを対象とした調査で、Chain-of-Thoughtの推論の96%が装飾的であり、モデルの意思決定に影響しないことが判明

Pruthvinath Jeripithi Venkatのプレプリントは、大規模言語モデル（LLM）におけるChain-of-Thought（CoT）推論の基本的な前提の一つに疑問を投げかけている。それは、モデルが生成する明示的な推論の連鎖が実際に意思決定を導いているという前提である。

CoTが96%装飾的とはどういう意味か？

Chain-of-Thought（CoT）推論は、言語モデルに回答を与える前に推論プロセスをステップごとに言語化させる技術である。この手法の背後にある前提は、可視的な推論がモデルの内部認知プロセスを忠実に反映しているというものだ。

研究はこの前提を実証的にテストし、逆の結果を見出した。方法論は、いわゆる**「フリップペア」**——同じモデルが同じ質問に対して相反する回答をする状況——に基づいている。CoTが実際に意思決定を駆動しているなら、フリップペアは大きく異なる推論テキストを示すはずだ。

しかし研究では、フリップペアが相反する結論にもかかわらずCoTテキストの96%の類似性を維持していることが示された（ROUGE-L スコア d=0.45）。明示的な推論は最終的な意思決定とはほぼ独立して生成される——CoTは通信に役立つ**「知識表示層」**として機能しているが、意思決定の因果的メカニズムではない。

どのモデルがテストされ、どれが例外を示したか？

研究は200の質問と8つの言語モデルを4つの異なるプロンプト条件でカバーした。モデルは知識の矛盾シナリオ——入力文書が訓練データと矛盾する状況——でテストされた。

GPT-4oは推論と意思決定の間に統計的に信頼できる関連性を示した唯一のモデルであり、テストセットの中で唯一のポジティブな例外である。Claude Sonnet 4.6は最も広い信頼度レベルの範囲を示したが、CoTテキストと最終的な意思決定との間の総合的な相関はほぼゼロであった。

内部思考トークンはなぜ意思決定をより良く明らかにするか？

統計的に重要な発見として、内部思考トークン（thinking tokens）はユーザー向けCoTテキストよりも意思決定への感度が高い（p=0.033）。これは、モデルが内部的に「考えること」と明示的な推論として言語化することの間に違いがあることを示唆している。

モデルの解釈可能性のためにCoTに依存する実践者に対して、著者は**「議論ではなく信頼度を読め」**と助言している。明示的な推論の連鎖は、意思決定が実際にどのように形成されるかを忠実に表現していない可能性がある——特に入力データが訓練時の知識と矛盾する状況において。