arXiv:2607.12385：PM-Benchがエージェントの「展望的記憶」を測定——最高性能のGPT-5.4でもF1はわずか65.1%

展望的記憶とは何か、なぜエージェントはそこで失敗するのか

展望的記憶とは、将来の適切な時点で意図した行動を実行することを記憶する能力です。たとえば、特定の条件が満たされたときにエージェントがメールを送ったり、1週間前に予約をトリガーしたりすることが該当します。過去の出来事を思い出す回顧的記憶とは異なり、展望的記憶は長い時間軸と複数のトリガーにわたって、未解決の意図を追跡し続ける必要があります。ワシントン大学の著者Genglin LiuとSaadia Gabrielは、まさにこの能力を、現代のLLMエージェント評価における重要な空白として特定しました。

PM-Bench：設計と方法論

PM-BenchはCOLM 2026会議に採録されたベンチマークであり、その設計は認知心理学のVirtual Weekパラダイムに直接基づいています。プラットフォームは7日間の日常的なエージェントタスクをシミュレートし、エージェントは将来のトリガーを追跡して遅延アクションを実行しなければなりません。評価では8つのトップクラスLLMを8種類の異なる設定でテストし、プロンプティング、コンテキスト長、記憶戦略が全体的なパフォーマンスに与える影響を検証しています。

ベンチマークは展望的タスクをいくつかのタイプに分類しています：時間条件付きアクション、イベント条件付きアクション、そして両者の組み合わせです。各タスクはF1メトリクスで追跡され、意図したアクションを正確にトリガーする精度と再現率を組み合わせて評価されます。

結果：GPT-5.4でさえF1 65.1%を超えられない

結果は明確です——テストしたすべてのモデルが展望的記憶に重大なギャップを示しています。GPT-5.4がF1 65.1%という絶対的な最高値を記録していますが、これは3分の1以上のケースでエージェントがタスクを忘れるか、誤ったタイミングでアクティベートすることを意味します。比較として、類似した心理学的テストで平均的な人間ははるかに高い成功率を達成します。

テストしたどの戦略も——コンテキストの延長、明示的なリマインダー、構造化された記憶モジュールも——すべてのシナリオで他を一貫して上回るものはありませんでした。これは、展望的記憶の問題がプロンプトアーキテクチャの問題ではなく、現代のLLMが長いセッションを通じて内部的に意図を管理する方法の根本的な限界であることを示唆しています。

エージェント開発への示唆

PM-Benchの結果は、この分野における進捗を測定するための具体的な基盤を提供します。知識や短期的な推論に焦点を当てた従来のベンチマークとは異なり、PM-Benchは実世界の自律エージェント——計画アシスタント、ワークフロー、複数日にわたるタスク——にとって不可欠な能力を定量化します。著者は、展望的記憶の問題を解決しない限り、「自律エージェント」という主張は部分的に根拠を欠くと強調しています。