arXiv:2605.22502: Kompilierung agentischer Workflows in LLM-Gewichte liefert Near-Frontier-Qualität bei 100× niedrigeren Kosten

Ein arXiv-Preprint vom 21. Mai 2026 stellt eine Methode zur Kompilierung agentischer Workflows direkt in die Gewichte eines kleineren feinabgestimmten Modells vor, die Near-Frontier-Qualität bei 100× niedrigeren Inferenzkosten als ein Standard-Agenten-Framework wie LangChain oder LangGraph erreicht. Die Autoren validierten die Methode in drei realen Produktionsszenarien: Reisebuchung mit 14 Workflow-Knoten, Zoom-Enterprise-Support mit 28 Knoten und Versicherung mit 55 Knoten.

Wie funktioniert die Workflow-Kompilierung in Gewichte?

Ein Standard-Agenten-Framework hält die Workflow-Logik in Python-Code, der Aufrufe an ein größeres LLM (z. B. GPT-5 oder Claude Opus 4.7) orchestriert. Jeder Workflow-Knoten erzeugt einen API-Aufruf — bei einem 55-Knoten-Flow sind das 55 unabhängige Aufrufe. Der Kompilierungsansatz:

1. Generiert synthetische Trainingsbeispiele der Workflow-Ausführung mit einem Frontier-Modell (z. B. 5.000–20.000 Traces).
2. Feinabstimmt ein kleineres Modell (z. B. 8B–13B Parameter) auf diesen Beispielen mit einem Structured-Output-Ziel.
3. Bettet die Workflow-Logik in die Gewichte ein — das trainierte Modell emuliert den gesamten Flow in einem einzigen Aufruf inklusive Verzweigungen, Retries und Tool-Calls.

Das Ergebnis nennen die Autoren Subterranean Agent, weil die Logik unterhalb der Oberflächen-API in den Gewichten lebt. Beim Reisebuchungs-Szenario ersetzt ein Subterranean-Agent-Aufruf 14 Frontier-Modell-Aufrufe bei 96,3 % Qualitätserhalt.

Was bedeuten die Zahlen für die drei Szenarien?

Reisebuchung: Original-LangChain-Flow mit 14 Knoten kostet 0,18 USD pro Aufgabe; kompilierter Agent 0,0018 USD — genau 100× günstiger, 96,3 % Qualitätserhalt. Zoom-Enterprise-Support: 28 Knoten, Original 0,42 USD, kompiliert 0,0041 USD — 102× günstiger, 94,1 %. Versicherungs-Underwriting: 55 Knoten, Original 1,84 USD, kompiliert 0,019 USD — 96× günstiger, 91,8 %.

Die Autoren schlagen einen Hybridansatz vor, bei dem der Subterranean-Agent 95 % der Routineaufgaben löst und das Frontier-Modell nur Aufgaben übernimmt, die der Agent als unsicher markiert — 80–90× Kostenreduktion bei vollem Qualitätserhalt.

Welche drei Adoptionsbarrieren wurden gelöst?

Erste Barriere: Unzureichende Trainingsbeispiele — das Generieren von 20.000 Traces kostete früher mehr als die Einsparung. Gesunkene Frontier-Inferenzpreise (Claude Haiku 4.5, Gemini 3 Flash, GPT-5 mini) machen die Trace-Generierung nun für 50–200 USD pro Workflow möglich.

Zweite Barriere: Fehlende strukturelle Signal-Verfolgung zwischen Schritten. Die Autoren führen explizite State-Pointer-Token ein, die Abhängigkeiten zwischen Schritten modellieren. Dritte Barriere: Korrektheitsprüfung kompilierter Modelle — ein Diff-basiertes Eval-Framework vergleicht die Subterranean-Ausgabe auf semantischer Ebene mit einem Goldstandard.

Was ändert sich im agentischen KI-Ökosystem?

Für Routine-Enterprise-Workflows (Support-Tickets, Buchungen, Schadenbearbeitung) kann die Kompilierung in ein kleineres Modell die Wirtschaftlichkeit von KI-Agenten grundlegend verändern. Ein Produktions-LangChain/LangGraph-Agent mit GPT-5-Backend kann im Enterprise-Maßstab 50.000–200.000 USD monatlich kosten; 100× Kostenreduktion bringt das auf 500–2.000 USD, vergleichbar mit traditionellen SaaS-Abonnements.