arXiv:2605.30434：LongDS-Bench 揭示 AI 智能体在长分析中的崩溃
LongDS-Bench 是用于评估 AI 智能体在多轮数据分析任务上的新基准。它包含 68 个任务和 2,225 个回合，取自真实的 Kaggle 笔记本，五个领先模型在长时间跨度上表现出显著退化——最好的也仅达到 48.45% 的平均准确率。
🤖
本文由人工智能基于一手来源生成。
一篇题为 “LongDS-Bench: On the Failure of Long-Horizon Agentic Data Analysis” 的新论文提出了一个评估 AI 智能体在多轮数据分析任务上的基准。作者为 Kewei Xu、Xiaoben Lu、Shuofei Qiao、Zihan Ding、Haoming Xu、Lei Liang 和 Ningyu Zhang。
什么是 LongDS-Bench？
LongDS-Bench 是一个评估集，由取自真实 Kaggle 笔记本的 68 个任务和 2,225 个回合（turn）构成。这些任务涵盖六个领域，包括地球科学、商业和教育。其目标是测试智能体能否在长时间、多轮交互中保持分析上下文。
模型在长时间跨度上表现有多差？
结果令人沮丧：最好的模型也仅达到 48.45% 的平均准确率。在测试五个领先模型时，从早期到后期回合，性能下降近 47 分。长时间跨度上的错误占所有失败的 52% 至 69%。
失败的真正原因是什么？
关键发现是，主要瓶颈是保持正确的分析状态，而非增加交互预算。换言之，额外的计算步骤本身并不能解决在长任务中保持状态这一根本挑战。研究者公开了该基准，以推动开发更可靠的数据分析智能体系统。
常见问题
- 什么是 LongDS-Bench？
- LongDS-Bench 是用于评估 AI 智能体在多轮数据分析任务上的基准，由取自六个领域真实 Kaggle 笔记本的 68 个任务和 2,225 个回合构成。
- 他们发现的主要问题是什么？
- 关键瓶颈是在长交互中保持正确的分析状态，而非增加交互预算。从早期到后期回合，性能下降近 47 分。
来源
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。