arXiv:2607.12385：PM-Bench衡量智能体「前瞻性记忆」——最佳模型GPT-5.4仅达65.1% F1

什么是前瞻性记忆，智能体为何在此项上失败？

前瞻性记忆是在正确的未来时刻记起并执行预定动作的能力——例如，当特定条件满足时让智能体发送电子邮件，或提前一周触发预订操作。与回顾性记忆（对过去事件的记忆）不同，前瞻性记忆需要在较长的时间段内通过多个触发条件跟踪悬而未决的意图。华盛顿大学的作者Genglin Liu与Saadia Gabriel正是将这一能力认定为当前LLM智能体评测中的关键盲区。

PM-Bench：设计与方法论

PM-Bench是被COLM 2026会议录用的基准测试，其设计直接借鉴了认知心理学中的Virtual Week范式。该平台模拟为期7天的日常智能体任务，要求智能体追踪未来触发条件并执行延迟动作。评测涵盖8个顶级LLM，分别在8种不同配置下进行测试，考察提示策略、上下文长度与记忆策略对整体性能的影响。

基准测试区分多种前瞻性任务类型：时间条件触发动作、事件条件触发动作，以及两者的组合。每个任务均通过F1指标进行追踪，F1综合衡量正确触发预定动作的精确率与召回率。

结果：即便GPT-5.4的F1也未超过65.1%

结果一目了然——所有测试模型均在前瞻性记忆上显示出显著差距。GPT-5.4以65.1% F1创下绝对最高值，意味着超过三分之一的情况下，智能体要么遗忘了任务，要么在错误时刻触发了动作。相比之下，人类在类似心理学测试中的成功率要高出许多。

在所有受测策略中——无论是扩展上下文、显式提醒，还是结构化记忆模块——均未能在所有场景下一贯优于其他策略。这表明前瞻性记忆问题并非提示架构的问题，而是当前LLM在较长会话中如何在内部管理意图这一深层局限。

对智能体开发的影响

PM-Bench的结果为衡量该领域进展奠定了具体基准。与以往聚焦于知识或短期推理的基准测试不同，PM-Bench量化了自主智能体在现实世界中不可或缺的能力——规划助手、工作流程以及多日任务。作者强调，若不解决前瞻性记忆问题，「自主智能体」的宣称将部分缺乏根基。