CNCF White Paper: Datenspeicherung bleibt größtes Hindernis für Cloud-Native-KI im Maßstab

CNCF TAG Infrastructure hat ein White Paper unter dem Titel „Data Storage in Cloud Native AI” veröffentlicht – ein community-authored Dokument, das von keinem einzelnen Anbieter gesponsert wird. Der interne Arbeitstitel des Projekts lautete „Data On Kubernetes – Data Analytics and AI/ML Workloads”, was den praktischen Fokus präziser beschreibt: Wie verhält sich Datenspeicherung, wenn KI-Workloads durch Kubernetes fließen?

Die Antwort des Dokuments ist nicht optimistisch. Traditionelle Speicherarchitekturen, die für Standard-Microservices optimiert sind, zeigen erhebliche Einschränkungen, wenn sie mit der Aufgabe konfrontiert werden, massive Datensätze an parallelisierte, hochleistungsfähige GPU-Hardware zu liefern.

Welche drei grundlegenden Engpässe gibt es?

Das Dokument identifiziert drei systemische Hindernisse, die Cloud-Native-KI-Infrastruktur für einen Betrieb im Maßstab lösen muss.

Das Problem kleiner Dateien ist möglicherweise das anspruchsvollste. Trainingsdatensätze enthalten regelmäßig Millionen kleiner Dateien – Bilder, Audio-Clips, Textdokumente. Jede Datei erfordert eine separate Metadatenoperation. Die Aggregation von Millionen solcher Operationen erzeugt enorme Last auf den Metadaten-Servern, was dazu führt, dass GPU-Knoten auf Daten warten statt zu berechnen. Die GPU-Auslastung sinkt, Kosten steigen und die Produktivität stagniert.

Der Engpass der Compute-Storage-Trennung ist die zweite systemische Herausforderung. Die Trennung von Compute- und Storage-Ressourcen ist ein grundlegendes Architekturprinzip von Cloud-Native-Umgebungen – und funktioniert generell gut für Standard-Workloads. Für KI-Training und -Inferenz akkumuliert sich jedoch der API-Overhead bei jedem Zugriff auf entfernte Daten zu einer spürbaren Leistungseinbuße und reduzierter Auslastung teurer Beschleuniger.

Variable Anforderungen verschiedener Phasen sind der dritte Engpass, diesmal organisatorischer Natur: Training, Inferenz und agentische KI haben grundlegend unterschiedliche Speicheranforderungsprofile, und ein einheitlicher Ansatz kann nicht alle drei Phasen optimal bedienen.

Drei KI-Lebenszyklusphasen mit unterschiedlichen Anforderungen

Das White Paper strukturiert Cloud-Native-KI-Speicherung rund um drei Phasen, die jeweils eine separate architektonische Betrachtung erfordern.

Die Trainingsphase fordert vor allem hohen Durchsatz. Das System muss in der Lage sein, enorme Datenmengen kontinuierlich und sequenziell an GPU-Cluster zu liefern, mit effizientem Checkpoint-Management, das die Fortsetzung des Trainings nach Unterbrechungen ermöglicht. Das Apache-Parquet-Format dominiert hier aufgrund des spaltenbasierten Lesens und der Komprimierung.

Die Inferenzphase legt den Fokus auf Latenz. Anfragen kommen in Schüben – der Traffic ist nicht gleichmäßig – und das Modell muss schnell verfügbar sein. KV-Caching und schnelles Modell-Laden werden kritisch. Apache Iceberg als Tabellenformat bringt Time Travel und Schema Evolution, die für die Versionsverwaltung von Modellen nützlich sind.

Agentische KI stellt die komplexeste Anforderung dar. Agenten, die iterative Schlussfolgerungsschleifen ausführen, benötigen eine Kombination aus Kurzzeitgedächtnis für aktiven Kontext innerhalb der Sitzung und Langzeitgedächtnis für Wissen, das zwischen Sitzungen bestehen bleibt. Zusätzlich erzeugen sie Artefakte – Zwischenergebnisse, Referenzen, geplante Schritte – die gespeichert und abrufbar sein müssen. Hier kommen Vektordatenbanken zum Tragen, wobei Milvus als Open-Source-Lösung für effiziente Vektorsuche im Maßstab besondere Aufmerksamkeit erhält.

Schlüsseltechnologien und CNCF-Projekte

Das Dokument kartiert das Ökosystem der Technologien, die die identifizierten Engpässe adressieren. CSI (Container Storage Interface) und COSI (Container Object Storage Interface) standardisieren den Speicherzugriff aus Kubernetes-Workloads, unabhängig vom konkreten Anbieter.

Fluid, ein aktives CNCF-Projekt, implementiert eine verteilte Caching-Schicht, die Daten näher an Compute-Knoten hält. Das adressiert direkt den Overhead der Compute-Storage-Trennung – Daten werden lokal auf Knoten gecacht, die sie aktiv nutzen. Für Streaming- und ereignisgesteuerte Pipeline-Architekturen bleibt Apache Kafka die Referenzimplementierung.

Warum ist das für Plattformingenieure relevant

Das White Paper ist kein akademisches Dokument – es ist eine praktische Referenz für ein Team, das heute Entscheidungen über die Architektur von Kubernetes-Clustern für KI-Workloads trifft. Die Empfehlungen sind konkret und anwendbar: welches Datenformat für welchen Anwendungsfall wählen, wie die Caching-Schicht organisiert werden soll, welche CNCF-Projekte integriert werden sollen.

Der community-authored Ansatz ohne Anbieter-Sponsoring verleiht dem Dokument eine Glaubwürdigkeit, die Marketing-White-Papers fehlt. CNCF TAG Infrastructure lädt die Community zur weiteren Mitarbeit ein – Überprüfung des PDFs, Beiträge zu TAG Infrastructure Charter-Diskussionen und dem #tag-infrastructure-Slack-Kanal.