CNCF: Tri strategije dohvata podataka za AI agente na Kubernetes bugovima
CNCF benchmark uspoređuje RAG, hibridni i čisti lokalni dohvat za AI agente koji popravljaju stvarne Kubernetes bugove. RAG je najbrži (1m16s), ali ključno usko grlo nije brzina niti cijena — već 'scope discovery', odnosno sposobnost agenta da prepozna sav zahvaćeni kod kroz više datoteka.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Što je CNCF testirao?
Cloud Native Computing Foundation objavio je 8. svibnja 2026. benchmark u kojem je AI agent — pokretan modelom Claude Opus, s timeoutom od pet minuta — popravljao devet stvarnih Kubernetes bugova različite kompleksnosti, izvučenih iz otvorenih pull requestova. Cilj nije bio dokazati superiornost jednog modela, nego usporediti tri arhitekture dohvata podataka koje danas dominiraju u agentskim sustavima.
Koje su tri strategije uspoređene?
Tri pristupa testirana su pod jednakim uvjetima:
- RAG only — semantička pretraga kroz KAITO/Qdrant indeks repozitorija.
- Hybrid — RAG kombiniran s direktnim pristupom lokalnom filesystemu.
- Local only — agent koristi samo
grep,findi druge alate nad kloniranim repoom.
RAG je bio najbrži s prosječno 1 minutom i 16 sekundi, dok su hibridni i lokalni pristup zahtijevali oko 2 minute i 25 sekundi.
Što je pravo usko grlo?
Ključni nalaz studije je da brzina i tokeni nisu odlučujući faktor. Hibridni pristup zahtijevao je prosječno 8 poziva modela (264k tokena ukupno), dok su RAG i lokalni pristup konvergirali oko 187–189k tokena. Broj poziva pokazao se važnijim troškovnim pokretačem od volumena tokena.
Stvarno usko grlo CNCF naziva „scope discovery” — sposobnost agenta da prepozna sve datoteke koje treba mijenjati. Agenti su rutinski uspijevali popraviti glavnu lokaciju buga, ali bi promašili adjacent promjene u integracijskim točkama. U jednom slučaju agent je „progutao greške lokalno umjesto da ih propagira pozivatelju — funkcionalno slično, ali arhitektonski pogrešno”.
Što ovo znači za inženjere?
Rezultat je nelagodan za zajednicu koja ulaže u sve sofisticiranije retrieval pipeline-ove: kada je opis buga precizan (točne datoteke, funkcije), razlike između strategija praktički nestaju. Razlike postaju velike samo kod loše opisanih bugova. Zaključak: kvaliteta issue opisa dominira nad strategijom dohvata, a sustavno rezoniranje kroz arhitekturu još uvijek nedostaje agentima neovisno o tome kako im dovodimo kontekst.
Česta pitanja
- Što je RAG u kontekstu AI agenata?
- Retrieval-Augmented Generation — agent prvo dohvati relevantne dijelove koda iz vektorske baze (KAITO/Qdrant), zatim ih koristi kao kontekst za generiranje rješenja.
- Što znači 'scope discovery'?
- Sposobnost agenta da prepozna sve datoteke i mjesta u kodu koje treba mijenjati za potpuni popravak buga, ne samo glavnu lokaciju greške.
- Zašto je broj poziva modela bitniji od broja tokena?
- Hibridni pristup koristi prosječno 8 poziva (vs. 187k–264k tokena), što ga čini najskupljim — svaki poziv ima fiksne troškove osim plaćanja po tokenu.
Povezane vijesti
arXiv:2605.06177: BioMedArena — toolkit za biomedicinske AI agente s 147 benchmarkova i 75 alata
arXiv:2605.06623: MASPO — automatska optimizacija promptova za multi-agent LLM sustave, ICML 2026
Google DeepMind: AlphaEvolve dostupan kroz Google Cloud, prvi industrijski rezultati