arXiv:2605.22664：WorkstreamBench测试LLM智能体处理金融端到端电子表格任务，前沿模型表现不佳

arXiv预印本WorkstreamBench于2026年5月22日发布，提出了首个在金融领域对LLM智能体进行真实端到端电子表格任务测试的基准测试。由Thomson Yen带领的10位作者设计了与会计师和财务分析师日常实践相符的任务：发票处理、月度报告生成、跨多个工作表的费用分析。主要发现：即便配备了Excel API工具，也没有任何前沿模型能可靠地完成全部任务。

为什么金融电子表格工作流对AI来说很难？

表面上看，拥有工具访问权限的LLM应该能轻松解决工作任务——GPT和Claude已经在MMLU数学和HumanEval编程上展示了高分。但真实的电子表格工作流包含MMLU类基准测试未能触及的多个层次：

结构复杂性：工作流通常跨越10到50个相互关联公式的单元格。更改一个输入会引发下游结果的连锁反应。智能体必须理解依赖关系图，而不仅仅是单个公式。

混合公式风格：真实的电子表格结合了VLOOKUP、INDEX-MATCH、SUMPRODUCT、动态数组公式（现代Excel版本中的FILTER、SORT、UNIQUE）、数据透视表引用和自定义命名范围。智能体必须理解每种公式在工作流中的语义角色。

外部验证：具体数字（税率、汇率、账户代码）必须与外部参考资料一致。生成语法正确的工作流但使用错误的2026年税率的智能体会产生看似合理但在业务上错误的结果。

条件格式作为业务逻辑：在实际操作中，条件格式表达业务规则（逾期发票标红，已批准交易标绿）。智能体必须理解格式不仅是装饰，还是语义层。

哪些模型被测试了，结果如何？

研究测试了四个前沿模型在两种环境下的表现：隔离环境（模型接收CSV格式的电子表格并给出文字回应）和智能体环境（模型可访问Excel COM API或openpyxl工具并执行操作）。

智能体环境下的结果：

模型	发票	报告	分析	总分
GPT-4o	58%	47%	41%	49%
Claude Sonnet 4.6	54%	51%	43%	49%
Claude Opus 4.7	63%	56%	52%	57%
Gemini 3 Pro	51%	44%	38%	44%

Claude Opus 4.7以57%的综合得分领先，但这意味着43%的任务产生了错误结果。在金融领域，错误结果并非「接近正确」——那意味着账目不平、发票金额错误、提交给监管机构的报告有误。

具体的失败模式有哪些？

作者记录了四种最常见的失败模式：

1. 引用漂移：智能体更新了一个单元格，但未更新引用该单元格的所有公式。结果：汇总金额与明细数字不符。
2. 格式忽略：智能体生成了正确的数值，但未应用工作流所需的货币格式或小数精度——导致业务分析师拒绝接受该报告。
3. 验证跳过：智能体不验证生成的金额是否与外部来源（如PDF发票）相符。结果：电子表格状态与现实不符。
4. 结构破坏：智能体添加了新列，但未更新使用该数据的数据透视表或仪表板——导致下游报告损坏。

这对宣传为「会计师AI」的SaaS产品意味着什么？

对企业AI产品的影响是具体的。那些宣传为「自动发票处理」或「AI记账员」的产品——包括克罗地亚和欧洲市场上一些顶级SaaS产品——很可能无法在没有人工审查每个步骤的情况下可靠地完成整个工作流。市场营销材料通常暗示自主处理；而基准测试证明现实仍然是「AI建议，人类审批」。

作者建议两个改进方向。第一，在精心策划的电子表格工作流数据集上对模型进行微调（基准测试使用的标注数据集约有10,000个任务）。第二，集成正式验证层，在应用更改之前验证旧状态和新状态在语义上是否等价——这可以防止引用漂移和结构破坏两种失败模式。

WorkstreamBench已公开，供研究人员复现和扩展。