arXiv:2607.12385: PM-Bench mjeri 'prospektivnu memoriju' agenata — najbolji GPT-5.4 tek 65,1% F1

Što je prospektivna memorija i zašto agenti na njoj padaju?

Prospektivna memorija je sposobnost sjećanja da se namjeravana radnja izvrši u pravom budućem trenutku — primjerice, da agent pošalje e-poruku kad se ispuni određeni uvjet ili pokrene rezervaciju tjedan dana unaprijed. Za razliku od retrospektivne memorije (sjećanje na prošle događaje), prospektivna memorija zahtijeva praćenje otvorenih namjera kroz dulje vremenske periode i okidače. Autori Genglin Liu i Saadia Gabriel s Univerziteta Washington identificirali su upravo tu sposobnost kao ključnu rupu u evaluaciji suvremenih LLM agenata.

PM-Bench: dizajn i metodologija

PM-Bench je benchmark prihvaćen na konferenciji COLM 2026, a njegov dizajn izravno se oslanja na kognitivnopsihološku paradigmu Virtual Week. Platforma simulira 7-dnevni period svakodnevnih agentskih zadataka u kojima agent mora pratiti buduće okidače i izvršavati odgođene akcije. Evaluacija obuhvaća 8 vrhunskih LLM-ova testiranih u 8 različitih konfiguracija, čime se ispituje utjecaj promptinga, kontekstne duljine i memorijskih strategija na ukupnu izvedbu.

Benchmark razlikuje nekoliko tipova prospektivnih zadataka: vremenski uvjetovane akcije, akcije uvjetovane događajima i kombinacije obaju tipova. Svaki zadatak prati se kroz metriku F1 koja kombinira preciznost i odziv u ispravnom okidanju namjeravane akcije.

Rezultati: čak ni GPT-5.4 ne prelazi 65,1% F1

Rezultati su jednoznačni — svi testirani modeli pokazuju značajan jaz u prospektivnoj memoriji. GPT-5.4 postiže 65,1% F1 kao apsolutni maksimum, što znači da u više od trećine slučajeva agent ili zaboravlja zadatak ili ga aktivira u pogrešnom trenutku. Usporedbe radi, prosječan čovjek u analognim psihološkim testovima postiže znatno više stope uspjeha.

Nijedna ispitana strategija — ni produženi kontekst, ni eksplicitni podsjetnici, ni strukturirani memorijski moduli — nije konzistentno nadmašila ostale u svim scenarijima. To sugerira da problem prospektivne memorije nije pitanje arhitekture promptinga, već temeljnog ograničenja kako suvremeni LLM-ovi interno upravljaju namjerama kroz dulje sesije.

Implikacije za razvoj agenata

Rezultati PM-Bencha postavljaju konkretnu osnovu za mjerenje napretka u ovom području. Za razliku od dosadašnjih benchmarka koji su fokusirani na znanje ili kratkoročno rezoniranje, PM-Bench kvantificira sposobnost koja je ključna za autonomne agente u stvarnom svijetu — asistente za planiranje, radne tokove i višednevne zadatke. Autori naglašavaju da bez rješavanja prospektivne memorije, tvrdnje o “autonomnim agentima” ostaju djelomično neutemeljene.