arXiv: UCS-Bench testira prostornu memoriju AI agenata u egocentričnom videu

Vizija uvijek uključenih AI asistenata — ugrađenih u AR naočale ili nosive kamere koje bilježe sve što korisnik vidi — donosi jedan ključni inženjerski izazov: kako agent može znati gdje se neki predmet nalazi ako ga nije vidio u posljednjih sat vremena, ili čak nekoliko sati? Skupina istraživača predvođena Yun Wangom, Junbinom Xiaoom, Hanom Lyuom, Yifanom Wangom, Jingom Zuom, Zhanjiejem Zhangom, Hongom Huangom, Dapengom Wuom i Angelom Yao objavila je rad prihvaćen na ICML 2026 koji izravno adresira ovaj problem uvođenjem novog benchmarka i pratećeg okvira za prostornu memoriju.

Benchmark za kontinuiranu prostornu inteligenciju

Autori uvode UCS-Bench (User Centric Continual Spatial Intelligence Benchmark), skup podataka koji obuhvaća više od 170 sati egocentričnih vizualnih opservacija. Unutar tog korpusa formulirali su više od 8.100 vremenski označenih pitanja čiji je cilj dijagnosticirati sposobnost modela u prostornom zaključivanju i dugoročnom zadržavanju memorije usklađene s kretanjem korisnika.

Benchmark je dizajniran za scenarij koji autori nazivaju korisničko-centrična kontinuirana prostorna inteligencija. Agent ne samo da mora znati gdje su predmeti — već tu lokaciju mora izražavati relativno u odnosu na trenutnu poziciju i orijentaciju korisnika, koji se kroz video neprekidno kreće i mijenja kut pogleda. Taj dinamizam razlikuje ovaj benchmark od statičnih skupova scena ili kratkih video isječaka koji su dosad dominirali istraživanjima prostornog razumijevanja.

Može li AI zapamtiti gdje ste ostavili ključeve?

Upravo ovo pitanje — u doslovno svakodnevnom smislu — motivira DirectMe, okvir koji autori predlažu kao rješenje. DirectMe inkrementalno gradi i održava strukturiranu prostornu memoriju iz streaming egocentričnih opservacija, kontinuirano praćeći lokacije predmeta relativno u odnosu na kretanje korisnika.

Za razliku od pristupa koji video obrađuju kao statičan segment ili kratki isječak, DirectMe je dizajniran za scenarij stalnog toka: agent nikad nije isključen, već neprekidno prima i integrira vizualne informacije. Memorija nije puki popis lokacija — sustav mora razriješiti dvoznačnosti koje nastaju kad se isti predmet vidi iz različitih kutova u različitim trenucima, i kad se prostorna referentna točka mijenja zajedno s kretanjem korisnika.

Posebno zahtjevne su dvije klase problema koje rad naglašava: dugovidni upiti koji zahtijevaju prisjećanje prethodnih interakcija korisnika s predmetima, te razrješavanje gledišnih dvoznačnosti između više opservacija istog objekta snimljenih iz različitih pozicija. Oba problema izravno odgovaraju realnim situacijama koje korisnici nosive kamere svakodnevno susreću.

Izvedba na vodećim multimodalnim modelima

Eksperimentalni rezultati pokazuju da DirectMe poboljšava sposobnost prostornog zaključivanja vodećih multimodalnih velikih jezičnih modela. Na zadacima prostorne svjesnosti i razumijevanja dugih video tokova, sustav nadmašuje usporedive modele koji su dosad postizali najbolje rezultate na ovom tipu zadataka.

Autori napominju da su kod i podaci dostupni javno putem GitHub repozitorija, što istraživačkoj zajednici omogućuje neovisnu reprodukciju rezultata i daljnji razvoj na istoj infrastrukturi. Ova otvorenost posebno je važna jer UCS-Bench time postaje zajednički referentni punkt — mjera uspjeha prema kojoj će se budući sustavi uspoređivati.

Implikacije za razvoj agenata i AR tehnologiju

Rad dolazi u trenutku rastuće industrije wearable AI uređaja — od AR naočala do kamera pričvršćenih na odjeću — koji bilježe svakodnevni život korisnika. Za te scenarije stalno uključene kamere, dosadašnji benchmarci bili su neadekvatni: testirali su kratke isječke i statične scene, a ne kontinuirani tok sati sadržaja s dinamičnim korisnikom u središtu.

UCS-Bench i DirectMe zajedno predstavljaju konkretan korak prema agentima koji bi mogli pružiti praktičnu korisnost u svakodnevnom životu — od podrške osobama s teškoćama pamćenja do povećanja produktivnosti profesionalaca koji trebaju brzo locirati alat ili dokument u fizičkom radnom prostoru. Prihvaćanje na ICML 2026, jednoj od najutjecajnijih konferencija za strojno učenje, signal je da akademska zajednica ovaj tip problema prepoznaje kao legitimnu i vremenski hitnu istraživačku frontu.

Pitanje koje ostaje otvoreno jest skalabilnost: kako se sustav poput DirectMea ponaša kad streaming traje danima ili tjednima, i na koji način upravljati memorijskom bazom koja bi u takvim uvjetima mogla narasti do nepraktičnih razmjera. Te se izazove rad ne bavi izravno, ali postavljanjem benchmarka i referentnog rješenja otvara prostor da ih buduće iteracije adresiraju sustavno.