LangChain: Agenten verbessern ist ein Data-Mining-Problem

Vivek Trivedy von LangChain hat am 7. Juli 2026 einen Essay veröffentlicht, der die Perspektive darauf verändert, was es wirklich bedeutet, „einen KI-Agenten zu verbessern”. Die zentrale These lautet: Agenten zu verbessern ist primär kein Ingenieursproblem — sondern ein Problem des Data-Minings im großen Maßstab.

Was sind Traces und warum sind sie die Währung der Verbesserung?

Ein Execution-Trace ist eine strukturierte Aufzeichnung jedes Schritts, den ein Agent bei der Lösung einer Aufgabe unternimmt: welche Tools aufgerufen wurden, welche Ergebnisse zurückgegeben wurden, welche Entscheidungen in welcher Reihenfolge getroffen wurden. Trivedy argumentiert, Traces seien „die Währung der langfristigen Agentenverbesserung”, weil sie Agentenerfahrung in ein Format übersetzen, das gemint werden kann.

Die entscheidende Abgrenzung zum klassischen ML: Traditionelle Modelle erzeugen relativ kompakte Datensätze. Moderne Agenten, die mehrstufige Aufgaben bearbeiten, produzieren Millionen von Traces mit Millionen von Tokens. Das ist eine fundamental andere Datenmenge, die eine spezialisierte Verarbeitungsarchitektur erfordert — einfaches manuelles Durchsuchen von Traces oder kleine Stichproben liefern keine statistisch relevanten Signale.

Empfohlener Funnel: Harness, Fine-Tuning, Harness

Trivedy schlägt eine konkrete Arbeitsreihenfolge vor, die er als „Sandwich”-Ansatz beschreibt:

Harness-Engineering → Fine-Tuning → Harness-Engineering

Der Harness ist alles, was das Modell umgibt: Prompts, Tools, Memory, Retry-Logik, Orchestrierungsschicht. Trivedy argumentiert, dass Harness-Engineering allein für die meisten Teams oft ausreicht, die Performance zu verbessern — ohne jegliche Modifikation der Modellgewichte. Der Harness bietet eine „hohe Transferfläche für Wissen” zum Agenten ohne die Kosten des Fine-Tunings.

Fine-Tuning kommt erst im zweiten Schritt, und auch nur dann, wenn die Harness-Optimierung ein Plateau erreicht. Nach dem Fine-Tuning ist der dritte Schritt die Rückkehr zur Harness-Optimierung mit dem verbesserten Modell als Basis.

Kontraintuitiver Rat: Agenten früh deployen

Einer der zentralen Ratschläge des Essays widerspricht direkt der Intuition der meisten Entwicklungsteams: Deployen Sie Agenten früh, bevor sie „fertig” sind — auch in eine eingeschränkte Produktion.

Der Grund ist pragmatisch. Ohne echte Nutzerinteraktionen gibt es keine Traces. Ohne Traces gibt es kein Material zum Mining. Ohne Mining gibt es keine Signale darüber, wo der Agent Fehler macht und warum. Optimierung in der geschlossenen Schleife — Iterieren über synthetische Daten oder kleine Testsets — ist blind im Vergleich zum Mining von Millionen echter Interaktionen.

Frühes Deployen ist keine Aufforderung zur Verantwortungslosigkeit — es ist eine strategische Entscheidung, die Datenpipeline so früh wie möglich zu starten, weil diese Pipeline die Verbesserungsgeschwindigkeit in allen späteren Phasen bestimmt.

Das doppelte Problem: Kosten und Kontext

Trivedy rahmt moderne Agentendaten als doppeltes Problem. Erstens sind es die Kosten — das Token-Volumen in Traces ist enorm, weshalb die Verarbeitung jedes Traces mit einem Frontier-Modell schnell wirtschaftlich nicht mehr tragbar wird. Zweitens ist es der Kontext — nützliche Verbesserungssignale innerhalb riesiger Trace-Mengen zu entdecken ist keine triviale Aufgabe.

Die Lösung für das Kostenproblem: Fine-getunete kleinere Open-Source-Modelle. Für enge Aufgaben wie Trace-Analyse und Fehlermuster-Erkennung übertreffen fine-getunete kleinere Modelle Frontier-Modelle bei dramatisch niedrigeren Kosten pro Token. Dies ist besonders relevant, weil die Trace-Analyse selbst eine enge und gut definierte Aufgabe ist — ideal für Fine-Tuning.

Evaluierungen als Trainingsdaten

Trivedy schlägt ein Reframing von Evaluierungen vor: Evals sind nicht nur Erfolgsmetriken, sondern Trainingsdaten für Agenten. Ein Durchlauf durch Evals überträgt gemessene Verhaltensweisen in Agenten-Performance. Das Evaluierungsdesign wird zur kritischen Infrastruktur, nicht zur nachträglichen Prüfung.

Diese Perspektive verschiebt die Prioritäten des Teams — Investitionen in hochwertiges Eval-Design von frühen Projektstadien an sind keine administrative Last, sondern direkte Investition in die Fähigkeit zur kontinuierlichen Agentenverbesserung.

Compound-Agentensysteme für autonome Verbesserung

Der Essay beschreibt ein fortgeschrittenes Muster: Compound-Agentensysteme, die autonom Traces lesen, Probleme identifizieren, Korrekturen generieren, Evals erstellen und Erkenntnisse in Speicher-Stores schreiben. Ein Agent verbessert einen Agenten — eine Schleife, die sich selbst beschleunigt, je mehr Traces verfügbar sind.

Das ist keine spekulative Vision, sondern die logische Erweiterung des von Trivedy beschriebenen Ansatzes — jeder Schritt im Funnel kann durch einen Agenten automatisiert werden, der Traces als Eingabe nimmt und Verbesserungen als Ausgabe produziert.

Fazit: Observierbarkeit und kontinuierliches Lernen sind dasselbe

Trivedy schlussfolgert, dass Observierbarkeit und kontinuierliches Lernen zwei Seiten derselben Medaille sind. Jede Organisation, die Agenten systematisch verbessert, muss eine Observierbarkeits-Organisation sein — und umgekehrt. Teams, die Agenten ohne Infrastruktur zur Erfassung und zum Mining von Traces bauen, arbeiten ohne Feedback und beschränken ihre Verbesserungsfähigkeit.