AutoMem:将记忆管理作为可学习技能而非架构选择
斯坦福大学研究人员开发了AutoMem——一个具有两个优化循环的系统,能够自动学习如何组织和使用记忆,无需人工标注,在基线方法上取得了2至4倍的性能提升。
本文由人工智能基于一手来源生成。
记忆一直是AI智能体面临的长期挑战——如何记住相关内容、何时遗忘旧信息、以及如何为未来使用构建所存储的知识。以往的方法大多将记忆架构视为固定的设计选择:工程师预先决定结构和规则,智能体遵循执行。
斯坦福大学的一项新研究提出了一种根本不同的方法:记忆管理是智能体可以学习的技能——而这种技能应该与任务学习并行地自动优化。
AutoMem是什么,如何运作?
论文「AutoMem: Automated Learning of Memory as a Cognitive Skill」(作者:Shengguang Wu、Hao Zhu、Yuhui Zhang、Xiaohan Wang和Serene Yeung-Levy)借鉴了认知科学中的一个洞见:元记忆,即管理自身记忆的能力,是一种独立的技能,可以独立于所记忆的内容进行练习和提升。
AutoMem通过两个并行运行的自动化优化循环实现了这一洞见。
第一个循环称为结构循环,负责记忆架构——具体包括描述智能体应如何使用记忆的提示词、数据组织模式,以及记忆动作词汇(写入、读取、删除文件等操作)。强大的大语言模型迭代分析完整的智能体轨迹,并对这些组件提出改进建议。
第二个循环称为熟练度循环,专注于智能体使用已定义记忆架构的技能。从多个回合中收集的成功记忆决策成为训练信号,对模型进行微调——教导它何时以及如何以最高效的方式使用记忆。
关键点在于:两个循环均无需人工标注记忆策略。整个系统通过经验而非显式编程规则来发现有效的方法。
结果:320亿参数模型媲美前沿系统
作者在三个程序生成的长时程游戏环境中评估了AutoMem:Crafter、MiniHack和NetHack。这些游戏需要在数百乃至数千步中进行规划、记住之前的状态并调整策略——这使其成为测试记忆能力的天然环境。
结果令人印象深刻:AutoMem实现了相比基线方法2至4倍的性能提升——且完全通过记忆系统的优化,而非改变模型架构本身。
尤为值得关注的是,配备AutoMem的320亿参数模型取得了与规模大得多的前沿模型相当的结果。这直接诠释了该论文的核心论点:当记忆架构与任务性能协同优化时,较小的模型可以弥补在原始规模上的差距。
为何记忆与任务的协同优化至关重要
设计AI智能体时的标准方法是预先决定记忆架构——在系统设计阶段——然后将其固定。智能体随后在这个固定的记忆结构下学习如何解决任务。
AutoMem表明这是次优的。记忆架构和智能体技能应该共同发展——因为最优的记忆结构取决于智能体需要实现的目标,而智能体的能力又受到可用记忆结构的限制。
这一受认知心理学启发的视角,提出了一个问题:迄今为止有多少AI智能体的潜力因将记忆视为已解决问题而非待优化变量而未被挖掘?
对于构建长时程任务AI智能体的实践者——从自动化研究和规划,到长期协作项目——AutoMem建议应将记忆架构纳入评估和优化循环,而非留给手动设计。
常见问题
- AutoMem的两个优化循环是什么?
- 第一个循环(结构循环)使用强大的大语言模型迭代改进记忆架构——提示词、模式和动作词汇。第二个循环(熟练度循环)将来自多个回合的成功记忆决策转化为训练信号,从而提升智能体的技能。
- AutoMem在哪些测试上进行了评估,提升幅度如何?
- 系统在三个程序生成的长时程游戏环境中进行了测试:Crafter、MiniHack和NetHack。仅通过记忆优化,相比基线方法取得了2至4倍的性能提升。
- AutoMem是否需要人工标注记忆策略?
- 不需要——整个循环完全自动化。系统通过分析智能体轨迹自主发现哪些记忆策略有效,无需任何人工标注或规则定义。