arXiv:2607.12385: PM-Bench misst „prospektives Gedächtnis" von Agenten — bestes Modell GPT-5.4 erreicht nur 65,1 % F1

Was ist prospektives Gedächtnis und warum scheitern Agenten daran?

Prospektives Gedächtnis ist die Fähigkeit, sich daran zu erinnern, eine beabsichtigte Handlung zum richtigen zukünftigen Zeitpunkt auszuführen — etwa, dass ein Agent eine E-Mail senden soll, sobald eine bestimmte Bedingung erfüllt ist, oder eine Reservierung eine Woche im Voraus einleitet. Im Gegensatz zum retrospektiven Gedächtnis (Erinnerungen an vergangene Ereignisse) erfordert prospektives Gedächtnis die Verfolgung offener Absichten über längere Zeiträume und Auslöser hinweg. Die Autoren Genglin Liu und Saadia Gabriel von der University of Washington haben genau diese Fähigkeit als kritische Lücke in der Evaluierung moderner LLM-Agenten identifiziert.

PM-Bench: Design und Methodik

PM-Bench wurde auf der COLM-2026-Konferenz angenommen, und sein Design stützt sich direkt auf das kognitionspsychologische Virtual-Week-Paradigma. Die Plattform simuliert einen 7-tägigen Zeitraum alltäglicher agentischer Aufgaben, in denen der Agent zukünftige Auslöser verfolgen und verzögerte Aktionen ausführen muss. Die Evaluierung umfasst 8 SOTA-LLMs, getestet in 8 verschiedenen Konfigurationen, und untersucht den Einfluss von Prompting, Kontextlänge und Gedächtnisstrategien auf die Gesamtleistung.

Der Benchmark unterscheidet mehrere Typen prospektiver Aufgaben: zeitbedingte Aktionen, ereignisbedingte Aktionen und Kombinationen beider Typen. Jede Aufgabe wird über eine F1-Metrik verfolgt, die Präzision und Rückruf bei der korrekten Auslösung der beabsichtigten Aktion kombiniert.

Ergebnisse: Selbst GPT-5.4 überschreitet 65,1 % F1 nicht

Die Ergebnisse sind eindeutig — alle getesteten Modelle weisen eine erhebliche Lücke im prospektiven Gedächtnis auf. GPT-5.4 erreicht 65,1 % F1 als absolutes Maximum, was bedeutet, dass der Agent in mehr als einem Drittel der Fälle die Aufgabe vergisst oder zum falschen Zeitpunkt auslöst. Zum Vergleich: Durchschnittliche Menschen erzielen in analogen psychologischen Tests deutlich höhere Erfolgsraten.

Keine getestete Strategie — weder erweiterter Kontext noch explizite Erinnerungen noch strukturierte Gedächtnismodule — übertraf konsistent alle anderen in allen Szenarien. Das legt nahe, dass das Problem des prospektiven Gedächtnisses keine Frage der Prompting-Architektur ist, sondern eine grundlegende Einschränkung darin, wie moderne LLMs Absichten über längere Sitzungen intern verwalten.

Implikationen für die Agentenentwicklung

Die PM-Bench-Ergebnisse schaffen eine konkrete Grundlage zur Messung des Fortschritts in diesem Bereich. Anders als bisherige Benchmarks, die sich auf Wissen oder kurzfristiges Schlussfolgern konzentrieren, quantifiziert PM-Bench eine Fähigkeit, die für autonome Agenten in der realen Welt entscheidend ist — Planungsassistenten, Workflows und mehrtägige Aufgaben. Die Autoren betonen, dass Behauptungen über „autonome Agenten” ohne Lösung des prospektiven Gedächtnisses teilweise unbelegt bleiben.