arXiv:2605.25707: AgentHijack benchmark otkriva kritičnu krhkost AI agenata pri upravljanju računalom
Istraživači su na ICML 2026 prezentirali AgentHijack — benchmark koji mjeri otpornost multimodalnih LLM agenata za upravljanje računalom (computer use) na realistična ometanja okoliša poput iskačućih prozora. Rezultati pokazuju da čak i mali poremećaji uzrokuju značajan pad performanse, a autori predlažu AgentHijack-Agent okvir s dva modula za povećanje robustnosti.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Što je AgentHijack i zašto je važan za AI agente?
Istraživači Jingwei Sun, Jianing Zhu, Yuanyi Li, Tongliang Liu, Xia Hu i Bo Han predstavili su AgentHijack — novi benchmark prihvaćen na ICML 2026 koji sustavno mjeri otpornost multimodalnih LLM agenata na realistična ometanja pri obavljanju zadataka na računalu. Computer use agenti (agenti za upravljanje računalom) su LLM sustavi koji vidnom percepcijom prate zaslon i autonomno kontroliraju miš i tipkovnicu.
Dok su ranija istraživanja uglavnom ispitivala namjerne adversarijalne napade, AgentHijack se fokusira na praktična ometanja koja korisnici svakodnevno susreću: iskačuće obavijesti, promjene prikaza i slične smetnje koje ne nastaju namjernim zlonamernim djelovanjem.
Koje vrste ometanja AgentHijack testira?
AgentHijack benchmark uključuje 9 konfigurabilnih kategorija ometanja okoliša koje repliciraju realne uvjete desktop korištenja:
- Iskačući prozori (pop-up obavijesti, dijalozi, reklame) koji prekidaju tijek zadatka
- Promjene prikaza (rezolucija, zoom, skaliranje elemenata sučelja)
- Ostale smetnje koje utječu na agentovu vizualnu percepciju i preciznost kontrole
Ključni nalaz rada je jednoznačan: “Čak i manje pojave korupcije mogu rezultirati značajnim padom performanse”, što ukazuje na sustavnu krhkost trenutnih multimodalnih LLM agenata poput Claude Computer Use, GPT-4o i srodnih sustava.
Kako AgentHijack-Agent rješava problem robustnosti?
Autori nisu samo identificirali problem nego su i predložili AgentHijack-Agent — dvokompotentni okvir za poboljšanje robustnosti:
- Generator akcija s pojačanom preciznošću uzemljenja (grounding) koji bolje mapira vizualne elemente na semantičke akcije
- Onlooker modul koji kontinuirano prati ponašanje agenta i verificira stanje okoliša, detektirajući anomalije uzrokovane ometanjima
Eksperimentalno testiranje potvrdilo je učinkovitost predloženog okvira. Kod, okruženja, baseline modeli i skupovi podataka dostupni su javnosti kroz projektnu stranicu, što istraživačima olakšava reproducibilnost i daljnje nadograđivanje.
AgentHijack dolazi u trenutku intenzivnog razvoja computer use agenata od strane Anthropica, OpenAI-ja i Google DeepMinda — robustnost na realna ometanja ključan je uvjet za pouzdanu primjenu u produkcijskim okruženjima.
Česta pitanja
- Što mjeri AgentHijack benchmark?
- AgentHijack mjeri otpornost multimodalnih LLM agenata na 9 konfigurabilnih vrsta ometanja okoliša (npr. iskačući prozori, promjene prikaza) pri obavljanju zadataka na desktopu.
- Zašto su AI agenti za upravljanje računalom krhki?
- Multimodalni LLM agenti pouzdaju se u vizualnu percepciju zaslona i preciznu kontrolu interakcija, pa čak i manje promjene u okruženju (pop-up prozori, promjene izgleda) narušavaju njihov rad.
- Što je AgentHijack-Agent i kako poboljšava robustnost?
- AgentHijack-Agent je predloženi okvir s generatorom akcija koji poboljšava preciznost uzemljenja i pratiteljem (onlooker modulom) koji prati ponašanje i verificira okruženje.
Povezane vijesti
AWS: Strands Evals SDK automatizira otkrivanje kvarova AI agenata i analizu korijenskog uzroka
LangChain: Fino ugođeni Qwen-3.5-35B kao 'trace judge' 10–100× jeftiniji od frontier modela
arXiv:2605.27567: Matematički dokazano zašto LLM-i ne mogu naučiti kauzalnost — i kako A-CBO agentno rješenje zaobilazi inherentno ograničenje