LangChain: Prompt Caching im Deep Agents-Framework senkt Latenz langlebiger Agenten

Was ist Prompt Caching und warum verschwenden Agenten ohne es zu viele Ressourcen?

Prompt Caching ist eine Technik, bei der ein LLM-System Zwischenergebnisse der Verarbeitung eines langen Systemprompts oder Kontextfensters speichert — so dass jeder folgende Aufruf in der Schleife die erneute Verarbeitung bereits gesehener Inhalte überspringt. Ohne Caching sendet jeder Agentenschritt den gesamten Kontext (Tools, Verlauf, Anweisungen) erneut, was Latenz und Kosten mit der Anzahl der Iterationen multipliziert.

Wie wenden Deep Agents das Caching an?

LangChain hat für das eigene Deep Agents-Framework einen Ansatz beschrieben, bei dem der gemeinsame Kontextteil — Tool-Definitionen, Systemanweisungen, der initiale Schritt — einmalig festgelegt und zwischen allen Aufrufen innerhalb derselben Agentensitzung geteilt wird. Autor Alex Olsen betont, dass dadurch die Wiederverwendung des Kontexts zwischen Agentenschritten optimiert wird und der Gewinn am deutlichsten bei Agenten mit langen Schleifen und stabilen Systemprompts ausgeprägt ist.

Vergleich mit dem nicht gecachten Ansatz

Ohne Caching trägt jeder Agentenschritt die vollen Kosten eines LLM-Aufrufs — bei mehrstufigen Abläufen bedeutet das linear steigende Kosten und Latenz. Mit Caching fallen die Kosten neuer Token nur auf das Delta — den veränderten Teil des Kontexts. Konkrete Einsparprozentsätze für Deep Agents wurden nicht öffentlich bekannt gegeben, jedoch verzeichnen vergleichbare Systeme (z. B. die AWS/Stripe-Produktionsimplementierung) bis zu 60% geringeren Verbrauch mit derselben Technik.

Der LangChain-Blogbeitrag richtet sich an Entwicklungsteams, die mehrfach iterierende Agenten entwickeln und Wege zur Senkung der Betriebskosten ohne Qualitätseinbußen suchen.