arXiv: UCS-Bench测试AI智能体在自我中心视频中的空间记忆

始终开启的AI助理愿景——嵌入AR眼镜或记录用户所见一切的可穿戴摄像头中——带来一个关键的工程挑战：如果智能体在过去一个小时甚至几个小时内没有看到某个物体，它怎么可能知道该物体在哪里？由王云、肖俊斌、吕涵、王一凡、左静、张展杰、黄鸿、吴大鹏和Angela Yao领导的研究团队发表了一篇被ICML 2026接收的论文，通过引入新的基准测试和配套的空间记忆框架直接解决了这一问题。

连续空间智能基准测试

作者推出UCS-Bench（User Centric Continual Spatial Intelligence Benchmark，以用户为中心的连续空间智能基准测试），这是一个包含超过170小时自我中心视觉观测的数据集。在这个语料库中，他们制定了超过8,100个带时间戳的问题，旨在诊断模型在空间推理和与用户运动同步的长期记忆保持方面的能力。

该基准测试专为作者称之为以用户为中心的连续空间智能的场景而设计。智能体不仅必须知道物体在哪里——它还必须相对于用户当前的位置和方向来表达这个位置，而用户在整个视频中不断移动和改变视角。这种动态性使该基准测试有别于迄今主导空间理解研究的静态场景集合或短视频片段。

AI能记住你把钥匙放在哪里吗？

这个问题——字面意义上的日常问题——激发了DirectMe，作者提出的解决方案框架。DirectMe增量构建和维护来自流式自我中心观测的结构化空间记忆，持续追踪相对于用户运动的物体位置。

与将视频作为静态片段或短片段处理的方法不同，DirectMe专为持续流场景而设计：智能体从不关闭，而是持续接收和整合视觉信息。记忆不仅仅是位置列表——系统必须解决当同一物体在不同时刻从不同角度被看到时产生的歧义，以及当空间参考点随用户移动而改变时的问题。

论文强调的两类问题特别具有挑战性：需要回忆用户过去与物体交互的长程查询，以及解决从不同位置拍摄的同一物体多次观测之间的视角歧义。这两个问题直接对应于可穿戴摄像头用户日常遇到的真实情境。

在领先多模态模型上的表现

实验结果表明，DirectMe提升了领先多模态大语言模型的空间推理能力。在空间感知和长视频流理解任务上，系统优于此前在这类任务上取得最佳成绩的同类模型。

作者指出，代码和数据通过GitHub仓库公开获取，使研究界能够独立复现结果并在相同基础设施上进一步发展。这种开放性尤为重要，因为UCS-Bench因此成为共同参考点——未来系统将据此进行比较的成功衡量标准。

对智能体开发和AR技术的意义

该论文出现在可穿戴AI设备行业快速增长的时期——从AR眼镜到附着于服装的摄像头——这些设备记录用户的日常生活。对于这些常开摄像头场景，现有基准测试是不足的：它们测试的是短片段和静态场景，而非数小时内容的连续流，动态用户处于中心。

UCS-Bench和DirectMe共同代表向能够在日常生活中提供实用价值的智能体迈出的具体一步——从支持有记忆困难的人到提高需要在物理工作空间中快速找到工具或文件的专业人员的生产力。被ICML 2026（机器学习最具影响力的会议之一）接收，信号是学术界将这类问题认定为合法且时间紧迫的研究前沿。

仍然开放的问题是可扩展性：像DirectMe这样的系统在流式运行数天或数周时表现如何，以及如何管理在这种条件下可能增长到不切实际规模的记忆库。该论文没有直接处理这些挑战，但通过建立基准测试和参考解决方案，开辟了空间让未来的迭代系统性地解决它们。