arXiv: UCS-Bench, 에고센트릭 비디오에서 AI 에이전트의 공간 기억을 테스트하다

항상 켜져 있는 AI 어시스턴트의 비전 — AR 안경이나 사용자가 보는 모든 것을 기록하는 웨어러블 카메라에 내장된 — 은 하나의 핵심적인 엔지니어링 도전을 가져옵니다: 에이전트가 지난 한 시간, 또는 몇 시간 동안 어떤 물체를 보지 못했다면 그 위치를 어떻게 알 수 있을까요? Yun Wang, Junbin Xiao, Han Lyu, Yifan Wang, Jing Zuo, Zhanjie Zhang, Hong Huang, Dapeng Wu, Angela Yao가 이끄는 연구자 그룹은 ICML 2026에 채택된 논문을 통해 새로운 벤치마크와 공간 기억을 위한 프레임워크를 도입하여 이 문제를 직접 다룹니다.

지속적 공간 지능을 위한 벤치마크

저자들은 UCS-Bench(User Centric Continual Spatial Intelligence Benchmark)를 도입합니다. 이 데이터셋은 170시간 이상의 에고센트릭 시각 관찰을 포함합니다. 이 코퍼스 내에서 공간 추론과 사용자의 움직임에 맞춘 장기 기억 보유 능력을 진단하기 위한 8,100개 이상의 시간 표시 질문을 공식화했습니다.

벤치마크는 저자들이 사용자 중심 지속적 공간 지능이라고 부르는 시나리오를 위해 설계되었습니다. 에이전트는 물체가 어디에 있는지 알아야 할 뿐만 아니라 — 비디오를 통해 지속적으로 이동하고 시야각을 바꾸는 사용자의 현재 위치와 방향을 기준으로 그 위치를 표현해야 합니다. 이 역동성은 이 벤치마크를 지금까지 공간 이해 연구를 지배했던 정적 장면 데이터셋이나 짧은 비디오 클립과 구별합니다.

AI가 열쇠를 어디에 두었는지 기억할 수 있을까요?

바로 이 질문 — 말 그대로 일상적인 의미에서 — 이 DirectMe를 동기 부여합니다. DirectMe는 저자들이 해결책으로 제안하는 프레임워크입니다. DirectMe는 스트리밍 에고센트릭 관찰에서 구조적 공간 기억을 점진적으로 구축하고 유지하며, 사용자의 움직임에 상대적으로 물체의 위치를 지속적으로 추적합니다.

비디오를 정적 세그먼트나 짧은 클립으로 처리하는 접근법과 달리, DirectMe는 지속적인 스트림 시나리오를 위해 설계되었습니다: 에이전트는 꺼지지 않고 시각적 정보를 지속적으로 수신하고 통합합니다. 기억은 단순한 위치 목록이 아닙니다 — 시스템은 동일한 물체가 다른 순간에 다른 각도에서 보일 때 발생하는 모호성을 해소해야 하고, 사용자의 움직임에 따라 공간적 기준점이 변할 때 이를 처리해야 합니다.

논문이 강조하는 특히 어려운 두 가지 문제 유형이 있습니다: 물체와의 사용자의 이전 상호작용 기억을 요구하는 장거리 쿼리, 그리고 다른 위치에서 촬영된 동일한 물체의 여러 관찰 사이의 시점 모호성 해소. 두 문제 모두 웨어러블 카메라 사용자가 일상적으로 만나는 실제 상황에 직접 해당합니다.

주요 멀티모달 모델에서의 성능

실험 결과는 DirectMe가 주요 멀티모달 대형 언어 모델의 공간 추론 능력을 향상시킨다는 것을 보여줍니다. 공간 인식과 긴 비디오 스트림 이해 작업에서 시스템은 이전에 이 유형의 작업에서 최고 결과를 달성했던 비교 모델들을 능가합니다.

저자들은 코드와 데이터가 GitHub 리포지토리를 통해 공개적으로 이용 가능하다고 밝혔으며, 이는 연구 커뮤니티가 결과를 독립적으로 재현하고 동일한 인프라에서 추가 개발을 할 수 있게 합니다. 이 개방성은 UCS-Bench가 공통 기준점 — 미래 시스템이 비교될 성공의 척도 — 이 되기 때문에 특히 중요합니다.

에이전트 개발과 AR 기술에 대한 함의

이 논문은 AR 안경부터 의류에 부착된 카메라까지 — 일상 생활을 기록하는 웨어러블 AI 기기 산업이 성장하는 시점에 등장합니다. 항상 켜진 카메라 시나리오에서 기존 벤치마크들은 부적절했습니다: 짧은 클립과 정적 장면을 테스트했고, 중심에 역동적인 사용자가 있는 수 시간의 지속적인 콘텐츠 스트림은 테스트하지 않았습니다.

UCS-Bench와 DirectMe는 함께 일상 생활에서 실용적인 유용성을 제공할 수 있는 에이전트를 향한 구체적인 단계를 나타냅니다 — 기억 어려움을 가진 사람들 지원부터 물리적 작업 공간에서 도구나 문서를 빠르게 찾아야 하는 전문가의 생산성 향상까지. 가장 영향력 있는 머신러닝 학회 중 하나인 ICML 2026에의 채택은 학술 커뮤니티가 이 유형의 문제를 합법적이고 시간적으로 긴급한 연구 분야로 인식한다는 신호입니다.

열린 질문은 확장성입니다: DirectMe와 같은 시스템이 스트리밍이 며칠이나 몇 주 동안 지속될 때 어떻게 동작하는지, 그리고 그러한 조건에서 비현실적인 규모로 성장할 수 있는 기억 베이스를 어떻게 관리할지. 이 논문은 이러한 도전을 직접 다루지는 않지만, 벤치마크와 기준 해결책을 설정함으로써 미래 반복이 체계적으로 이를 해결할 공간을 열어줍니다.