arXiv:2606.14200 — Uvjetno povjerenje u rojevima AI agenata i sigurnosna zamka

Globalna ocjena pouzdanosti više ne odgovara heterogenim rojevima agenata

Multi-agentski sustavi poput AutoGen, CrewAI ili Swarm-style orkestratora sve više koriste heterogene skupove LLM agenata — modela koji se razlikuju po veličini, treniranju i specijalizaciji. Klasični pristup dodjeljuje svakom agentu jednu globalnu ocjenu reputacije. No što ako je agent izvrstan za generiranje koda, ali loš za planiranje? Istraživači Yihan Xia i Taotao Wang predlažu fundamentalno drugačiji model: uvjetno povjerenje koje agentima dodjeljuje zasebne ocjene za svaku vještinu.

Kad uvjetni model zaista pomaže?

Formalno, sustav dodjeljuje svakom agentu i ocjenu R(i|k) — pouzdanost specifično za vještinu k. Empirijska validacija provedena je na 14 stvarnih AppWorld agenata, koji su po dizajnu različiti u sposobnostima, čime su istraživači potvrdili da su stvarni rojevi LLM agenata unutar „korisnog režima” gdje uvjetni model nadmašuje globalni pristup.

Da bi ta prednost bila ostvariva, moraju biti ispunjeni specifični uvjeti: visoka heterogenost agenata (različite sposobnosti po vještinama), rijetki dokazi po pojedinoj vještini i pozitivna korelacija između vještina. Kada su ti uvjeti ispunjeni, uvjetni model postiže mjerljivo poboljšanje u točnosti rutiranja — meta-učenje između vještina smanjuje grešku upravo onda kada isti agent ne dominira u svim domenama.

Sigurnosna zamka u srcu mehanizma

Isti parametar koji čini uvjetni model učinkovitim — parametar β koji kontrolira koliko dokazi iz jedne vještine utječu na ocjene u drugoj — otvara izravnu sigurnosnu ranjivost. Napadač koji kontrolira jednog od agenata može izgraditi jeftinu reputaciju u jednoj vještini, a zatim iskoristiti dijeljenje dokaza kako bi manipulirao rutiranjem u ciljnoj vještini gdje je izgradnja pouzdanosti skuplja.

U eksperimentima, ovaj napad preuzimanja reputacije (reputation laundering) podiže grešku rutiranja s 0 na 0,94 — što odgovara gotovo potpunoj korupciji sustava raspoređivanja zadataka. Radi se o mjerljivom, visoko učinkovitom napadu koji ne zahtijeva kompromitiranje samog modela, već samo strateško ponašanje unutar protokola.

CIVT kao djelomična obrana

Autori uvode Conditional Information Value Test (CIVT) kao mehanizam zaštite. CIVT procjenjuje je li dijeljenje dokaza između vještina stvarno informativno prije nego dopusti β-parametru da prenese utjecaj. Na taj način ograničava površinu napada — ali, kako autori eksplicitno naglašavaju, ne eliminira ga u potpunosti.

Razlog je fundamentalne prirode: ako β = 0, uvjetni model gubi svoju prednost nad globalnim modelom (nema dijeljenja dokaza, svaka vještina uči neovisno). Ako β > 0, napad postaje moguć. CIVT balansira taj kompromis, ali ga ne rješava. Autori ne tvrde da je sustav otporan na Sybil napade — umjesto toga, kvantificiraju kompromis između podatkovne učinkovitosti i sigurnosti, što samo po sebi predstavlja vrijedan doprinos razumijevanju sigurnosti multi-agentskih sustava.

Implikacije za produkcijsku multi-agentsku orkestaciju

Rad je posebno relevantan za implementacije koje koriste automatsko rutiranje zadataka unutar multi-agentskih okvira. Kada sustav dinamički bira koji agent će izvršiti koji zadatak na temelju prethodnih performansi, sustav reputacije postaje kritična sigurnosna komponenta — a ne samo optimizacijski alat.

Za inženjerski tim koji gradi produkcijski sustav s uvjetnim povjerenjem, ključne smjernice iz rada su jasne. Prvo, uvjetni model donosi korist samo u specifičnom režimu heterogenosti i korelacije vještina — uvođenje bez provjere tih preduvjeta ne jamči poboljšanje. Drugo, β-parametar mora biti tretiran kao sigurnosno-kritični hiperparametar, a ne samo performansni. Treće, CIVT pruža korisno, ali nepotpuno zaštitno sijeto koje smanjuje rizik bez eliminacije.

Rad premješta razgovor o multi-agentskom povjerenju s pitanja „tko je bolji agent” na pitanje „tko je bolji za što — i tko to smije znati” — distinkcija koja postaje sve važnija kako se rojevski sustavi šire u produkcijskim okruženjima.