arXiv:2605.27773: 针对8个LLM模型的研究揭示，思维链推理96%为装饰性内容，对模型决策无实质影响

Pruthvinath Jeripity Venkata的预印本对大型语言模型（LLM）中思维链（CoT）推理的一个核心假设提出了质疑：模型生成的显式推理链是否真的引导其决策过程？

CoT推理96%「装饰性」意味着什么？

思维链（CoT）推理是一种技术，要求语言模型在给出答案之前逐步将推理过程语言化。这一方法背后的假设是：可见的推理过程忠实地反映了模型内部的认知过程。

该研究通过实验对这一假设进行了检验，结果恰恰相反。研究方法基于所谓的**「翻转对」（flip pairs）**——即同一模型对同一问题给出相反答案的情况。如果CoT真的驱动决策，翻转对中的推理文本应该显示出截然不同的内容。

然而研究发现，翻转对中的CoT文本相似度高达96%，尽管结论相互对立（ROUGE-L分数d=0.45）。显式推理几乎独立于最终决策而生成——CoT充当**「知识展示层」**，服务于沟通目的，但并非实际的决策因果机制。

哪些模型参与测试，哪个模型是例外？

研究涵盖200道题目和8个语言模型，在4种不同提示条件下进行。模型在知识冲突场景中接受测试——即输入文档与训练数据相矛盾的情况。

GPT-4o是唯一一个在推理与决策之间表现出统计上可靠关联的模型——是测试集中唯一的正向例外。Claude Sonnet 4.6显示出最宽泛的置信度范围，但CoT文本与最终决策之间的总体相关性几乎为零。

为何内部思维token比外部CoT更能揭示决策？

统计显著发现：内部思维token对决策的敏感度高于用户可见的CoT文本（p=0.033）。这表明模型内部「思考」的内容与其显式语言化的推理之间存在差异。

对于依赖CoT进行模型可解释性研究的从业者，作者建议：「读置信度，而非论证过程」。显式推理链可能无法如实反映决策的实际形成方式——尤其是在输入数据与训练知识相互矛盾的情况下。