arXiv: Iluzija prednosti višeagentnih sustava — skuplje, ali lošije od jednostavnog CoT-SC

Višeagentni sustavi nisu automatski bolji

Vijest koja potresa zajednicu istraživača umjetne inteligencije (artificial intelligence): višeagentni sustavi (multi-agent systems, MAS) možda uopće ne zaslužuju reputaciju superiornijeg pristupa. Nova studija pod naslovom „The Illusion of Multi-Agent Advantage” sustavno ispituje tvrdnje da koordinacija više AI agenata nužno donosi bolje rezultate od jednoagentnih pristupa — i zaključuje da te tvrdnje ne stoje, barem ne u slučaju automatski generiranih arhitektura.

Autori su proveli evaluaciju na više kategorija zadataka: tradicionalnim skupovima za testiranje zaključivanja, interaktivnim višekoračnim radnim tokovima (uključujući benchmark BrowseComp-Plus) te na posebno dizajniranom sintetičkom skupu podataka koji ističe situacije u kojima bi MAS trebao imati jasnu prednost.

Što pokazuju rezultati?

Nalaz je neočekivano jednoznačan. Automatski generirani višeagentni sustavi dosljedno zaostaju za metodom Lanaca misli sa samo-konzistencijom (Chain-of-Thought with Self-Consistency, CoT-SC) — i to uz troškove koji su do 10 puta viši. CoT-SC je etablirana jednoagentna tehnika u kojoj model generira više odgovora i glasovanjem bira najkonzistentniji, bez ikakve složene koordinacijske infrastrukture.

Situacija se mijenja kada u jednadžbu uđe stručno dizajnirani MAS. Na sintetičkim skupovima podataka osmišljenim upravo za testiranje višeagentnih sposobnosti, ekspertno dizajnirani sustavi nadmašuju automatski generirane arhitekture. No ta prednost ne prenosi se na praktične zadatke zaključivanja — što sugerira da problem leži specifično u automatiziranom procesu dizajna, a ne u konceptu višeagentnosti kao takvom.

Slabost automatiziranog dizajna

Istraživači identificiraju temeljni nesklad između toga kako se MAS automatski konstruiraju i stvarnih principa višeagentne suradnje. Automatski alati za dizajn arhitekture produciraju ono što autori nazivaju „arhitekturnom napuhanošću” (architectural bloat) — višak složenosti koji ne prevodi u funkcionalnu korist.

Konkretno, automatizacija često dodaje agentnih slojeva i koordinacijskih koraka bez jasne funkcionalne motivacije. Rezultat je sustav koji izgleda sofisticirano, ali zapravo ne iskorištava prednosti paralelizacije, specijalizacije ili mehanizama provjere koje višeagentni pristup teorijski nudi.

Kada višeagentnost ipak ima smisla

Studija ne osporava vrijednost višeagentnih sustava kao koncepta — niti tvrdnja da je jednoagentni pristup uvijek bolji. Poruka je preciznija: automatizacija dizajna MAS arhitektura nije dozrela do razine na kojoj može pouzdano nadmašiti pažljivo podešene jednoagentne metode.

Dijagnostički sintetički skup podataka koji autori uvode može poslužiti istraživačima za precizno identificiranje slabosti pojedinih arhitektura i bolju usporedbu sustava s uzimanjem u obzir troška — dimenzije koja u postojećim evaluacijskim okvirima često ostaje zanemarena.

Posljedice za industriju

Višeagentni sustavi trenutno doživljavaju izrazitu popularnost: brojna komercijalna rješenja i istraživački prototipi temelje se na automatskom orkestriranju više AI agenata za rješavanje složenih zadataka. Ova studija stavlja jasno upozorenje: troškovni omjer i stvarna korisnost moraju biti sustavno evaluirani, a ne pretpostavljeni.

Za praktičare to znači: prije implementacije složene višeagentne infrastrukture vrijedi provjeriti može li dobro konfiguriran jednoagentni pristup s CoT-SC-om postići usporedive ili bolje rezultate za manji trošak. Automatizacija dizajna višeagentnih sustava obećava, ali prema ovom istraživanju još nije na razini koja opravdava premijske troškove u svim slučajevima primjene.