arXiv:2607.12385：PM-Bench, 에이전트의 「전망적 기억」측정——최고 모델 GPT-5.4도 F1 65.1%에 그쳐

전망적 기억이란 무엇이며, 에이전트는 왜 이 부분에서 실패합니까?

전망적 기억은 올바른 미래 시점에 의도한 행동을 수행할 것을 기억하는 능력입니다. 예를 들어, 특정 조건이 충족되었을 때 에이전트가 이메일을 보내거나 일주일 전에 예약을 트리거하는 것이 해당됩니다. 과거 사건을 기억하는 회고적 기억과 달리, 전망적 기억은 더 긴 시간 축과 여러 트리거에 걸쳐 미결 의도를 추적해야 합니다. 워싱턴 대학교의 저자 Genglin Liu와 Saadia Gabriel은 바로 이 능력을 현대 LLM 에이전트 평가에서의 핵심 공백으로 규명했습니다.

PM-Bench：설계와 방법론

PM-Bench는 COLM 2026 학회에 채택된 벤치마크로, 그 설계는 인지 심리학의 Virtual Week 패러다임을 직접 차용합니다. 플랫폼은 7일간의 일상적인 에이전트 작업을 시뮬레이션하며, 에이전트는 미래의 트리거를 추적하고 지연된 작업을 수행해야 합니다. 평가는 8개의 최상위 LLM을 8가지 다른 구성으로 테스트하여, 프롬프팅, 컨텍스트 길이, 기억 전략이 전체 성능에 미치는 영향을 검토합니다.

벤치마크는 전망적 작업의 유형을 구분합니다: 시간 조건부 행동, 이벤트 조건부 행동, 그리고 두 유형의 조합입니다. 각 작업은 의도한 행동을 올바르게 트리거하는 정밀도와 재현율을 결합한 F1 지표로 추적됩니다.

결과：GPT-5.4도 F1 65.1%를 넘지 못합니다

결과는 명확합니다——테스트한 모든 모델이 전망적 기억에서 상당한 격차를 보입니다. GPT-5.4가 F1 65.1%로 절대적인 최고값을 기록했지만, 이는 세 번의 경우 중 한 번 이상 에이전트가 작업을 잊거나 잘못된 시점에 활성화한다는 것을 의미합니다. 비교하자면, 유사한 심리학적 테스트에서 평균적인 사람은 훨씬 높은 성공률을 달성합니다.

테스트한 어떤 전략도——컨텍스트 확장, 명시적 리마인더, 구조화된 기억 모듈 등——모든 시나리오에서 일관되게 다른 전략을 앞서지 못했습니다. 이는 전망적 기억 문제가 프롬프트 아키텍처의 문제가 아니라, 현대 LLM이 긴 세션에 걸쳐 내부적으로 의도를 관리하는 방식의 근본적인 한계임을 시사합니다.

에이전트 개발에 대한 시사점

PM-Bench의 결과는 이 분야의 발전을 측정하기 위한 구체적인 기준을 제시합니다. 지식이나 단기 추론에 초점을 맞춘 기존 벤치마크와 달리, PM-Bench는 현실 세계의 자율 에이전트——계획 어시스턴트, 워크플로, 다일 작업——에 필수적인 능력을 정량화합니다. 저자들은 전망적 기억 문제를 해결하지 않는 한 『자율 에이전트』라는 주장은 부분적으로 근거가 없다고 강조합니다.