arXiv:2606.09450：TheoremBench——评估LLM形式化定理证明能力的基准
TheoremBench是一个新基准，评估大型语言模型使用Lean4进行形式化定理证明的能力。涵盖约100个经典定理的标准格式和带自动提取前提的扩展格式。研究显示显式前提显著提升模型表现，而新指标揭示模型倾向于选择较简单的子定理并生成过长的证明。
🤖
本文由人工智能基于一手来源生成。
Lean4与形式化定理证明
Lean4是一种用于编写计算机可自动验证的数学证明的编程语言。与用自然语言撰写的传统论文不同，形式化证明必须通过严格的逻辑验证——每个步骤都必须明确说明并有理有据。这使它们成为验证复杂数学陈述的有力工具，同时也是对语言模型要求极高的测试场。
TheoremBench：约100个经典定理，两种格式
研究人员QuocViet Pham、Elvir Karimov、Andrey Galichin和Ivan Oseledets（arXiv:2606.09450，2026年6月8日）引入了TheoremBench——一个包含约100个经典数学定理的基准，提供两种格式。标准格式仅给出命题，而扩展格式则自动提取辅助子定理作为显式前提。该基准超越了竞赛问题的范畴，在更长、依赖关系更丰富的数学推导上评估模型。
显式前提能否提升模型表现？
能。研究的核心发现是，提供显式前提能显著提升具有Lean4能力的模型的表现——两种格式之间的差异并非微不足道。此外，两项新指标——定理级别覆盖率和token效率——揭示了隐藏的弱点：模型系统性地偏向较简单的子定理，并生成过长的证明。因此，较高的总体解题率可能掩盖数学推理方面的真实缺陷。
常见问题
- 什么是Lean4，它为什么对语言模型评估很重要？
- Lean4是一种用于形式化定理证明的编程语言，要求对每个步骤进行严格的逻辑验证。与自然语言不同，它不允许近似论证——这使它成为AI系统的理想测试场。
- 为什么显式前提能提升模型在TheoremBench上的表现？
- 显式前提减少了推理负担，因为模型无需独立找到中间步骤。扩展格式自动提取辅助子定理，显著提升了有Lean4能力的模型的解题率。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。