arXiv:2606.14350 — 8 obrazaca za složene AI sustave: do 71% niži troškovi

Monolitni modeli gube na fleksibilnosti

Jedan veliki jezični model odabran u fazi dizajna ne može lako prilagoditi ponašanje prema složenosti ulaznog zadatka, niti rasporediti rad između specijaliziranih komponenti. To je polazišna točka rada istraživača Miloša Gravare, Andrije Stanisića i Stefana Nastića s TU Wien, koji predlažu sustavnu metodologiju za projektiranje složenih (compound) AI sustava koji orkestriraju više modela, algoritama i alata kroz eksplicitnu kontrolnu logiku.

Argument nije samo teorijski. S rastom složenosti produkcijskih AI sustava, ad hoc dodavanje komponenti bez formalnog okvira vodi suboptimalnim konfiguracijama i nepredvidivim kompromisima između latencije, točnosti i troškova.

Koja je stvarna razlika u performansama između compound i monolitnih sustava?

Rezultati iz tri empirijska case study-a daju konkretan odgovor. Složene konfiguracije postigle su točnost monolitnih modela u rasponu od 2,5 do 4 postotna boda — uz istovremeno smanjenje latencije do 60% i smanjenje troškova do 71%. Radi se o mjerljivim kompromisima koji su konzistentni kroz različite tipove zadataka, što čini compound pristup ekonomski atraktivnim za gotovo sve produkcijske slučajeve korištenja gdje apsolutna maksimalna točnost nije jedini kriterij odabira.

Dva stupnja slobode, osam obrazaca

Metodologija organizira prostor dizajna duž dva stupnja slobode: topologije toka rada (workflow topology) i odabira konfiguracije (configuration selection). Kombiniranjem ovih dimenzija autori identificiraju 8 projektnih obrazaca koji naslovljavaju specifične nedostatke klasičnog pristupa s jednim modelom.

Obrasci uključuju lančane konfiguracije gdje sekvencijalni tijek prolazi kroz specijalizirane komponente, svaka optimizirana za podzadatak. Usmjerivači (routers) dinamički preusmjeravaju zadatke prema procijenjenoj složenosti ili vrsti ulaza. Ansambli i kritičari kombiniraju paralelno izvršavanje s naknadnim ocjenjivanjem ili glasanjem između izlaza više modela. Svaki obrazac nosi eksplicitno dokumentirane kompromise koji omogućuju sustavni odabir arhitekture umjesto intuitivnog nagađanja.

Ključna napetost: odabir modela i konfiguracije zajedno

Autori naglašavaju da odabir modela i parametara konfiguracije zajedno određuju performanse sustava. To je uvid koji zvuči trivijalno, ali ima ozbiljne inženjerske posljedice: s povećanjem broja komponenti prostor mogućih konfiguracija kombinatorno raste, što čini ručno podešavanje nepraktičnim u produkcijskim uvjetima s visokim zahtjevima SLO sukladnosti.

Upravo ta kombinatorna eksplozija motivira formaliziranu metodologiju. Bez strukturiranog prostora pretrage, inženjeri se oslanjaju na iskustvo i ad hoc eksperimentiranje, što vodi konfiguracijama koje možda funkcioniraju, ali daleko su od optimalnih za zadani skup ograničenja.

Pet otvorenih izazova

Rad zaključuje s identificiranjem pet otvorenih izazova koji usmjeravaju buduće istraživanje. Najtežnji je automatsko otkrivanje konfiguracija koje su sukladne sa Service Level Objectives — mehanizmi koji bi autonomno pronalazili kombinacije komponenti, parametara i topologije koja zadovoljava zahtjeve za latencijom, cijenom i točnošću bez ručne intervencije.

Ostali izazovi uključuju upravljanje runtime prilagodbom (dinamičko mijenjanje konfiguracije za vrijeme izvođenja prema varijabilnoj težini ulaza), standardiziranu evaluaciju različitih compound arhitektura i formalne garancije SLO sukladnosti u distribuiranim okruženjima. Ti otvoreni problemi ocrtavaju granicu između današnjih heurističkih rješenja i sustavnog inženjerstva AI infrastrukture.

Zašto je ovo važno sada

„Compound AI” paradigma — lanci, usmjerivači, ansambli, kritičari — brzo postaje dominantna arhitektura u produkcijskim AI sustavima. Alati poput LangChain, DSPy ili LlamaIndex već implementiraju mnoge od ovih obrazaca, ali bez formalnog okvira za dizajn i evaluaciju koji bi osigurao predvidive kompromise.

Rad Gravare i kolega čini korak prema discipliniranoj inženjeriji složenih AI sustava — s mjerljivim, reproducibilnim kompromisima umjesto nagađanja. Za produkcijske timove koji danas biraju između monolitnog i compound pristupa, ovih 8 obrazaca i tri concrete mjerenja pružaju rijedak empirijski oslonac za takve odluke.