CNCF: zašto klasična observability ne radi za agentic i LLM sustave

Što je observability i zašto AI sustavi razbijaju stara pravila?

Observability (opažljivost) je sposobnost razumijevanja unutarnjeg stanja sustava na temelju vanjskih signala — logova, metrika i tragova (traces). U klasičnim softverskim sustavima isti ulaz uvijek daje isti izlaz, pa anomaliju lako uočite povišenom latencijom ili stopom grešaka. CNCF ističe da to načelo jednostavno ne vrijedi za LLM modele i AI agente koji rade u probabilističkim okruženjima.

Zašto probabilistika mijenja sve?

Isti prompt može dati potpuno različite odgovore ovisno o temperaturi, kontekstu i stanju modela. Greške nisu uvijek tehničke — agent može odgovoriti bez iznimke, ali donijeti pogrešnu odluku. Klasična telemetrija to ne vidi. Dok Prometheus i Grafana bilježe CPU, memoriju i HTTP statuse, propuštaju semantičku razinu: je li agent razumio zadatak, je li slijedio pravi korak, je li rezultat bio koristan?

Okvir za održivu agentic observability

CNCF predlaže pomak fokusa s infrastrukturnih metrika na pouzdanost ishoda. Umjesto „je li servis dostupan?”, pitanje postaje „je li odluka bila ispravna?”. Konkretno to znači praćenje semantičkih prompt/response uzoraka, kvalitete odluka i konzistentnosti ponašanja agenta kroz vrijeme. Pristup nudi okvir za „održivu” (sustainable) observability koji ne generira podatkovni šum, nego mjeri ono što zaista utječe na rezultate.

Za razliku od determinističkih mikroservisa gdje jedan alat pokriva sve, agentic sustavi zahtijevaju novi sloj praćenja — specifičan za LLM interakcije i autonomne odluke.