AWS: SageMaker erhält über 100 detaillierte Inference-Metriken und Insights-Dashboard auf CloudWatch

Amazon gab bekannt, dass SageMaker — AWSs verwaltete Plattform für maschinelles Lernen — jetzt mehr als 100 detaillierte Metriken für generativen KI-Inference direkt in CloudWatch, AWSs Monitoring-Dienst, ausgibt. Zusammen mit den Metriken kommt ein neues SageMaker Insights-Dashboard mit Reitern für Performance, Kapazität und Zuverlässigkeit. Ziel ist es, Teams die Sichtbarkeit zu geben, die bisher eine benutzerdefinierte Instrumentierung erforderte.

Was das Dashboard misst

Inference ist die Phase, in der ein trainiertes Modell Anfragen in Echtzeit beantwortet, weshalb Latenz die entscheidende Metrik ist. Das neue Dashboard verfolgt die Token-Level-Latenz — Zeit bis zum ersten Token (TTFT) und Inter-Token-Latenz — sowie das KV-Cache-Tracking (der Schlüssel-Wert-Speicher, den das Modell zur Beschleunigung der Generierung nutzt), Honeycomb-Fleet-Visualisierung und Kaltstart-Diagnostik. Das Dashboard deckt sowohl Einzelmodell- als auch Mehrmodell-Endpunkte (Inference Components) ab.

Unterschied zum bisherigen Ansatz

Bisher mussten Teams für diese Ebene der Sichtbarkeit eigene Instrumentierung aufbauen oder sich auf externe Tools verlassen. SageMaker liefert Metriken jetzt im OpenTelemetry-Format, sodass es sich über einen PromQL-kompatiblen Endpunkt mit Grafana und Datadog über vorgefertigte Grafana-Templates verbindet. Die Abrechnung erfolgt zum Standardpreis von CloudWatch OpenTelemetry mit 0,50 USD pro Gigabyte.

Bedeutung für die Praxis

Detailliertere Metriken helfen Ingenieuren, Engpässe wie langsame Kaltstarts oder einen überlasteten KV-Cache ohne manuelle Instrumentierung zu diagnostizieren. Für Organisationen, die große Sprachmodelle in der Produktion betreiben, beeinflusst das Messen von TTFT und Inter-Token-Latenz direkt die Nutzererfahrung und Kosten — ein standardisiertes Dashboard verkürzt die Zeit bis zur Fehlerdiagnose.