arXiv: OrchRM — model nagrađivanja za orkestraciju višeagentnih AI sustava bez ljudskih anotacija

Problem orkestracije u višeagentnim AI sustavima

Kako koordinirati više AI agenata da zajednički rješavaju složene zadatke — i kako naučiti koji koordinacijski potezi zapravo vode do dobrih rezultata? To je srž problema kojim se bavi istraživanje predstavljeno u radu „Reward Modeling for Multi-Agent Orchestration” (OrchRM). Orkestracija (orchestration) — odlučivanje koji agent dobiva koji zadatak, kojim redoslijedom i s kojim kontekstom — dosad je zahtijevala ili skupu ljudsku superviziju ili ponavljanje cijelog ciklusa podsustava agenata.

OrchRM nudi alternativu: samosupervizijski okvir koji uči iz podataka koji nastaju samim izvršavanjem zadataka, bez ikakvih dodatnih troškova anotiranja.

Kako OrchRM funkcionira?

Ključna inovacija leži u tome iz čega se uči. Umjesto da čeka konačni ishod ili traži ljudsku procjenu, OrchRM gradi parove pobjeda i poraza (win/lose pairs) iz međukoraka izvršavanja (intermediate execution artifacts) — privremenih izlaza, međurezultata i tragova koje agenti generiraju dok rade.

Na temelju tih parova trenira se Bradley-Terry model nagrađivanja (Bradley-Terry reward model) — statistički okvir koji procjenjuje relativnu kvalitetu dvaju ishoda. Ključno je da se trening odvija izravno na razini orkestracije, ne na razini pojedinih podsustava agenata. Time se izbjegava troškovno najskuplji korak: ponovno pokretanje čitavih agentnih lanaca samo radi prikupljanja podataka za učenje.

Mjerni rezultati

Rezultati su konzistentni kroz tri različita područja primjene — matematičko zaključivanje, web-bazirano odgovaranje na pitanja (web QA) i višekoračne zadatke koji zahtijevaju kombiniranje informacija iz više izvora (multi-hop reasoning).

Na svim trima domenama OrchRM postiže:

• Do 10 puta bolju efikasnost u korištenju tokena pri treniranju
• Do 8% veću točnost pri skaliranju višeagentnih sustava u fazi zaključivanja (test-time scaling)

Efikasnost tokena nije trivijalna metrika — izravno utječe na trošak razvoja i eksploatacije sustava. Postizanje usporedive ili bolje točnosti uz deseterostruko manje tokena znači da se OrchRM može koristiti i u okruženjima s ograničenim računalnim resursima.

Važnost razine orkestracije

Dosadašnji pristupi poboljšanju višeagentnih sustava fokusirali su se uglavnom na poboljšanje pojedinih agenata — boljim modelima, preciznijim uputama, sofisticiranijim alatima. OrchRM skreće pažnju na drugu dimenziju: kako se agenti koordiniraju jednako je važno kao i koliko je svaki agent sposoban sam za sebe.

Model nagrađivanja na razini orkestracije može prepoznati obrasce koji vode do dobrih rezultata u koordinaciji — koji redoslijed delegiranja zadataka funkcionira, kada je korisno tražiti provjeru od drugog agenta, kada je optimalno konsolidirati rezultate — i to bez da ikad mora eksplicitno kodirati ta pravila.

Skalirani pristup razvoju višeagentnih sustava

Autori pozicioniraju OrchRM kao skalabilni smjer za robusnu višeagentnu orkestraciju. Samosupervizijska priroda metode znači da se sustav može kontinuirano poboljšavati kako se prikuplja više podataka iz izvršavanja, bez rastućeg troška prikupljanja anotacija.

Kod je dostupan na GitHubu (github.com/Wang-ML-Lab/OrchRM), što istraživačima i praktičarima omogućuje direktnu primjenu i nadogradnju metode. Za zajednicu koja razvija višeagentne AI sustave, OrchRM predstavlja konkretan alat za poboljšanje koordinacijske inteligencije bez proporcionalnog povećanja troškova razvoja.