ArXiv SAGA: Workflow-atomares GPU-Scheduling für KI-Agenten erreicht 1,64× schnellere Task-Completion auf 64-GPU-Cluster, angenommen auf HPDC 2026

Das Team aus Dongxin Guo, Jikun Wu und Siu Ming Yiu veröffentlichte am 1. Mai 2026 auf ArXiv die Arbeit „SAGA: Workflow-Atomic Scheduling for AI Agent Inference on GPU Clusters”. Das Paper wurde für HPDC 2026 (35. International Symposium on High-Performance Parallel and Distributed Computing, 13.–16. Juli 2026 in Cleveland) angenommen.

Welches Problem löst SAGA?

Bestehende GPU-Scheduler behandeln jeden API-Aufruf an ein LLM als unabhängige Anfrage, was bedeutet, dass nach Abschluss jedes Aufrufs gigabyteweise Zwischenzustand (KV-Cache, Attention-Kontexte, Scratch-Speicher) verworfen wird. Das ist suboptimal für KI-Agenten, bei denen ein einzelner Workflow typischerweise Dutzende aufeinanderfolgender Aufrufe umfasst, die große Mengen Kontext teilen.

Die Autoren formulieren das Problem so: „GPU schedulers treat each call as independent, discarding gigabytes of intermediate state.” Die Folge: Ein Agent, der wenige Sekunden dauern sollte, läuft oft minutenlang, weil der Scheduler ständig Zustand neu lädt, der im Speicher hätte bleiben sollen.

Wie löst das System das Problem?

SAGA behandelt den gesamten Agenten-Workflow als atomare Planungseinheit. Technisch verwendet das System drei Schlüsselmechanismen:

• Agent Execution Graphs — Abhängigkeitsmodelle innerhalb des Workflows, die die Vorhersage ermöglichen, welche KV-Cache-Seiten später benötigt werden
• Session-Affinity-Batching — co-lokalisiert korrelierte Anfragen und balanciert die Last über GPUs ohne Zustandsverlust
• Fairness-Mechanismen — verhindern, dass ein einzelner lang laufender Workflow andere Tenants blockiert

Die KV-Cache-Vorhersage erreicht 1,31× Bélády-Optimal offline — Béládys Algorithmus ist die theoretische Obergrenze des idealen Cache-Replacements mit Zukunftswissen. Das Online-Erreichen von 1,31× davon (ohne Zukunftswissen) ist eine bedeutende Leistung.

Wie groß sind die Verbesserungen?

Experimente auf einem 64-GPU-Cluster zeigten:

• 1,64-fache geometrische Mittlere Reduzierung der Task-Abschlusszeit (statistisch signifikant, p < 0,001)
• 1,22× bessere GPU-Speicherauslastung — weniger Verschwendung durch ungenutzte KV-Cache-Seiten
• 99,2 % SLO-Erreichung unter Multi-Tenant-Last (Service Level Objective — vereinbarte Latenzgrenze)

Der Kompromiss ist ein rund 30 % geringerer Spitzendurchsatz verglichen mit klassischem Batch-Scheduling. Das ist erwartbar: Das System opfert rohen Durchsatz für bessere Task-Abschlusszeit und Speicherauslastung. Für Agenten-Workloads, bei denen Nutzer auf die Antwort des gesamten Workflows warten, ist die Reduzierung der Task-Abschlusszeit aussagekräftiger als der Spitzendurchsatz.

Was bedeutet das für Betreiber von Agentensystemen?

Die kommerzielle Implikation ist erheblich: Falls AWS, Azure oder Google Cloud workflow-atomares Scheduling in ihren GPU-Pools einsetzen, könnten die Infrastrukturkosten von Agentensystemen um eine ähnliche Größenordnung wie den 1,64×-Speedup sinken. Für Unternehmen, die bereits Zehntausende von Dollar monatlich für Agenten-Inference ausgeben, ist das bedeutsam genug, um Build-vs-Buy-Entscheidungen zu beeinflussen.

Das Paper ist auf ArXiv unter ID 2605.00528 verfügbar.