arXiv:2605.25603: CIE-Scorer揭示LLM链式推理何时出现不忠实表征

CIE-Scorer解决的是什么问题？

沈旭、谭臻、王松、洪平军、缪锐、王鑫和陈天龙提出了CIE-Scorer——一个用于检测大型语言模型（LLM）中不忠实思维链（unfaithful Chain-of-Thought，CoT）的框架。

思维链（Chain-of-Thought，CoT）是一种技术，通过引导LLM在给出最终答案前写出逐步推理过程。问题在于，这些可见的推理步骤未必能真实反映模型的实际计算过程——模型可能展示出一种逻辑，实际上却使用另一种逻辑得出结论。这种不忠实的表征使得AI系统的可解释性和可信度大打折扣。

CIE-Scorer如何工作，与现有方法有何区别？

现有的不忠实CoT检测方法主要依赖文本可信度等外部信号。CIE-Scorer（电路引导内外部差异评分器）将机制可解释性——对模型内部计算结构的分析——与外部推理分析相结合。

具体而言，CIE-Scorer：

• 在句子层面构建紧凑电路：从重要推理词元中提取，而非对整个模型构建代价高昂的完整电路
• 建立内部与外部思维图：表征模型内部如何处理信息
• 量化差异：使用融合Gromov-Wasserstein距离（一种衡量图结构差异的数学度量）测量两图之间的偏差
• 实例级运行：针对每个样本单独处理，无需代价高昂的聚合统计

结果如何，对AI系统开发有何意义？

CIE-Scorer在FaithCoT-Bench基准集的四个数据集上达到最先进水平，同时显著降低了计算成本——主要原因在于使用了紧凑电路，而非计算成本高昂的完整模型电路。

可靠检测不忠实CoT轨迹的能力，对于在高风险场景中应用LLM至关重要——在这些场景中，推理过程的透明性与可审计性不可或缺，例如医疗、法律或金融领域。