CNCF white paper: Pohrana podataka ostaje glavna prepreka cloud-native AI-ja u mjerilu

CNCF TAG Infrastructure objavio je white paper pod naslovom „Data Storage in Cloud Native AI” — community-authored dokument koji nije sponzoriran od strane nijednog pojedinog vendora. Interni radni naziv projekta bio je „Data On Kubernetes – Data Analytics and AI/ML Workloads”, što preciznije opisuje praktični fokus: kako se pohrana podataka ponaša kada AI radni tereti teku kroz Kubernetes?

Odgovor koji dokument daje nije optimističan. Tradicionalne arhitekture pohrane, optimizirane za standardne mikrosервисе, pokazuju ozbiljna ograničenja kada ih se stavi pred zadatak hranjenja masivnih skupova podataka u paraleliziranu, visokoprerfomantnu GPU hardversku infrastrukturu.

Koja su tri temeljna uska grla?

Dokument identificira tri sistemske prepreke koje cloud-native AI infrastruktura mora riješiti za funkcioniranje u mjerilu.

Problem malih datoteka je možda najzahtjevniji. Skupovi podataka za treniranje redovito sadrže milijune malih datoteka — slike, audio isječci, tekstualni dokumenti. Svaka datoteka zahtijeva zasebnu metadata operaciju. Agregat milijuna takvih operacija stvara enormno opterećenje metadata servera, što rezultira time da GPU čvorovi čekaju na podatke umjesto da računaju. Iskorištenost GPU-a pada, troškovi rastu, a produktivnost stagnira.

Usko grlo odvajanja compute i storage resursa drugi je sistemski izazov. Odvajanje compute i storage resursa temeljni je arhitekturni princip cloud-native okruženja — i generalno funkcionira dobro za standardne workloade. No za AI treniranje i inferenciju, API overhead koji nastaje pri svakom pristupu udaljenim podacima akumulira se u vidljivu penalizaciju performansi i smanjenu iskorištenost skupih akceleratora.

Varijabilni zahtjevi različitih faza treće su usko grlo, ovog puta organizacijske prirode: treniranje, inferencija i agentski AI imaju fundamentalno različite profile zahtjeva prema pohrani, a jedinstven pristup ne može optimalno poslužiti sve tri faze.

Tri faze AI životnog ciklusa s različitim potrebama

White paper strukturira cloud-native AI pohranivanje oko tri faze koje zahtijevaju zasebno arhitekturno razmatranje.

Faza treniranja primarno traži visoki throughput. Sustav mora moći isporučivati ogromne količine podataka kontinuirano i sekvencijalno GPU klasterima, uz efikasno upravljanje checkpointima koji omogućavaju nastavak treniranja nakon prekida. Format Apache Parquet dominira ovdje zbog kolonarnog čitanja i kompresije.

Faza inferencije stavlja naglasak na latenciju. Zahtjevi dolaze u skokovima — traffic nije uniforman — a model mora biti dostupan brzo. KV caching i brzo učitavanje modela postaju kritični. Apache Iceberg kao table format donosi time travel i schema evolution koji su korisni za upravljanje verzijama modela.

Agentski AI predstavlja najkompleksniji zahtjev. Agenti koji izvode iterativne petlje zaključivanja trebaju kombinaciju kratkoročne memorije za aktivni kontekst unutar sesije i dugoročne memorije za znanje koje traje između sesija. Uz to generiraju artefakte — međurezultate, reference, planirane korake — koji trebaju biti pohranjena i dohvatljivi. Ovdje dolaze do izražaja vektorske baze podataka, pri čemu Milvus dobiva posebnu pozornost kao open-source rješenje za efikasno pretraživanje vektora u mjerilu.

Ključne tehnologije i CNCF projekti

Dokument mapira ekosustav tehnologija koje adresiraju identificirana uska grla. CSI (Container Storage Interface) i COSI (Container Object Storage Interface) standardiziraju pristup pohrani iz Kubernetes radnih tereta, neovisno o konkretnom vendoru.

Fluid, aktivni CNCF projekt, implementira distribuirani caching sloj koji podatke drži bliže compute čvorovima. Ovo direktno adresira overhead odvajanja compute i storage resursa — podaci se cachiraju lokalno na čvorovima koji ih aktivno koriste. Za streaming i event-driven pipeline architekturu, Apache Kafka ostaje referentna implementacija.

Zašto je ovo relevantno za platform inženjere

White paper nije akademski dokument — to je praktična referenca za tim koji danas donosi odluke o tome kako arhitekturirati Kubernetes klastere za AI radne terete. Smjernice su konkretne i primjenjive: koji format podataka odabrati za koji usecase, kako organizirati caching sloj, koje CNCF projekte integrirati.

Community-authored pristup bez sponzorstva vendora daje dokumentu kredibilitet koji nedostaje marketinškim white paperima. CNCF TAG Infrastructure poziva zajednicu na sudjelovanje u daljnjem razvoju — pregled PDF-a, doprinos u TAG Infrastructure charter diskusijama i #tag-infrastructure Slack kanalu.