arXiv:2605.07776：追踪 LLM 推理链中的不确定性——错误可从前 100 个令牌预测
论文 arXiv:2605.07776 研究大型语言模型推理链中的不确定性追踪。作者（Grünefeld、Højer、Mondorf、Plank、Rogers 等人）开发了「不确定性追踪概况」——一组紧凑特征，通过仅前几百个令牌即可预测准确结果，AUROC 达 0.807（仅用前段令牌时为 0.801）。
本文由人工智能基于一手来源生成。
arXiv 预印本库中的一篇新论文（arXiv:2605.07776）探讨了一个重要的实际问题：能否从大型语言模型在生成过程中自身的不确定性来预测推理链的准确性？作者 Nils Grünefeld、Bertram Højer、Philipp Mondorf、Barbara Plank、Anna Rogers、Christian Hardmeier、Stefan Heinrich 和 Jes Frellsen 认为可以——而且可以非常早地做到。
不确定性追踪概况
研究团队开发了不确定性追踪概况——一组紧凑特征，描述推理生成过程中中间令牌的不确定性模式。该方法不仅观察最终答案，而是捕获生成过程中不确定性曲线的形状，并将其用作预测最终结果准确性的依据。
结果：AUROC 0.807，早期检测
主要结果是在五个不同语言模型上预测准确最终答案的 AUROC 0.807。更实用的是：仅使用前几百个令牌，AUROC 仍保持在 0.801——这意味着系统可以在生成完成前就将推理链标记为可能正确或可疑。
发现：正确的推理链显示「更陡峭且更不线性的不确定性下降」，而错误推理链的模式更平坦或更难以预测。这一差异在两个测试数据集中均一致出现——GSM8K（数学问题）和 ProntoQA（逻辑推理）。
实际意义
对于推理流水线而言，这是构建「自感知」生成的基础模块：追踪自身不确定性的系统可以在耗尽全部预算之前早期拒绝低质量推理链并重新采样。相比依赖最终置信度评分的先前方法，提前拒绝可降低成本和延迟。
常见问题
- 什么是不确定性追踪概况？
- 不确定性追踪概况是一组紧凑特征，描述模型不确定性如何在推理链的令牌间变化。该方法不仅观察最终答案，还捕获生成过程中不确定性曲线的形状——如急剧下降或线性递减——并将其用作准确性预测器。
- 正确推理与错误推理有何区别？
- 正确的推理链显示不确定性「更陡峭且更不线性地下降」。错误的推理链模式更平坦或更难以预测。这一差异在 GSM8K（数学问题）和 ProntoQA（逻辑推理）两个数据集中均一致出现。
- AUROC 0.807 为何重要？
- AUROC 衡量分类器区分正负样本的能力，1.0 为完美，0.5 为随机。0.807 意味着强预测能力——系统可在生成完成前高置信度地将推理链标记为可能正确或可疑，支持早期拒绝或重采样。