CNCF: Warum klassische Observability für agentische KI-Systeme und LLMs nicht funktioniert

Was ist Observability und warum brechen KI-Systeme die alten Regeln?

Observability (Beobachtbarkeit) ist die Fähigkeit, den inneren Zustand eines Systems anhand äußerer Signale zu verstehen — Logs, Metriken und Traces. In klassischen Softwaresystemen liefert dieselbe Eingabe immer dieselbe Ausgabe, sodass Anomalien leicht durch erhöhte Latenz oder Fehlerraten erkannt werden. CNCF betont, dass dieses Prinzip für LLM-Modelle und KI-Agenten, die in probabilistischen Umgebungen arbeiten, schlicht nicht gilt.

Warum verändert Probabilistik alles?

Derselbe Prompt kann je nach Temperatur, Kontext und Modellzustand völlig unterschiedliche Antworten liefern. Fehler sind nicht immer technischer Natur — ein Agent kann ohne Ausnahme antworten, aber eine falsche Entscheidung treffen. Klassische Telemetrie erkennt das nicht. Während Prometheus und Grafana CPU, Arbeitsspeicher und HTTP-Status erfassen, übersehen sie die semantische Ebene: Hat der Agent die Aufgabe verstanden? Hat er den richtigen Schritt befolgt? War das Ergebnis nützlich?

Rahmen für nachhaltige agentische Observability

CNCF schlägt eine Verlagerung des Fokus von Infrastrukturmetriken auf Ergebniszuverlässigkeit vor. Statt „Ist der Dienst verfügbar?” lautet die Frage: „War die Entscheidung korrekt?” Konkret bedeutet das, semantische Prompt/Response-Muster, Entscheidungsqualität und die Konsistenz des Agentenverhaltens im Zeitverlauf zu verfolgen. Der Ansatz bietet einen Rahmen für „nachhaltige” Observability, die keinen Datenlärm erzeugt, sondern misst, was die Ergebnisse tatsächlich beeinflusst.

Im Gegensatz zu deterministischen Mikrodiensten, bei denen ein Werkzeug alles abdeckt, erfordern agentische Systeme eine neue Überwachungsschicht — spezifisch für LLM-Interaktionen und autonome Entscheidungen.