🟡 🛡️ 安全 发布于: · 2 分钟阅读 ·

arXiv:2607.08173:「过度思考」——增强推理迫使reasoning模型泄露所学秘密,ICML 2026新型提取攻击

arXiv:2607.08173 ↗

创意插图:由思维环构成的大脑,锁定的文件通过裂缝泄漏而出

「过度思考」是一篇被ICML 2026接收的论文,表明增强大型语言模型的推理权重可以提取出模型通常不会暴露的隐藏学习信息。这一发现开辟了针对推理型模型(如o1、DeepSeek R1和开启长思考的Claude)的全新提取攻击类别。

🤖

本文由人工智能基于一手来源生成。

论文《Overthinking: Extracting Learned Secrets》(arXiv:2607.08173),作者为Hopkins、Khullar和Roger,已被ICML 2026接收,描述了针对推理型模型的一类新型攻击。推理型模型是指在给出最终答案之前执行扩展内部推理链的语言模型——这一机制提升了复杂任务的准确率,但正如论文所示,同时也开辟了一条意想不到的安全通道。

攻击的原理是什么?

作者展示了通过针对性地增强「推理权重」(reasoning weight),可以诱使模型在推理链中暴露其在训练期间学到、但在正常回答中不会透露的信息。换言之:模型「思考」得越深,在此过程中泄露潜在存储秘密的可能性就越大——这些秘密包括训练数据片段乃至内部指令。

为何这一悖论如此危险?

扩展推理是新一代模型的核心优势——OpenAI o系列、DeepSeek R1和开启扩展思考的Claude。正是这一市场将其定价为高级能力的机制,被《过度思考》转化为了一个漏洞:能够限制信息泄露的防御措施可能同时削弱有益的推理能力。这为将推理型模型投入生产的团队带来了具体的权衡取舍。

背景

被ICML 2026——三大最负盛名的机器学习会议之一——接收,赋予了这一发现超越普通预印本的分量。论文与GitHub同日在CodeQL中引入提示注入检测一同发布,共同勾勒出2026年的安全研究正日益聚焦于模型本身特有的攻击,而非仅针对模型周围的应用层。对于推理型模型的运营者,信息很清晰:思考越深,就越需要对模型可以说出的内容实施更深层的管控。

常见问题

「过度思考」论文揭示了什么?
通过增强语言模型的「推理权重」,可以提取出模型在正常运行时不会透露的潜在学习信息——这是针对推理型模型的一种新型攻击。
该攻击影响哪些模型?
影响在回答前执行扩展内部推理链的推理型模型——如OpenAI o系列、DeepSeek R1以及开启扩展思考的Claude。
为何这一发现重要?
因为正是那个提升准确率的扩展推理过程同时成为信息泄露的通道——这一安全隐患在部署推理型模型时必须加以考量。