LangChain: Feinabgestimmter Qwen-3.5-35B als Trace-Judge 10–100× günstiger als Frontier-Modelle

LangChain hat gezeigt, wie ein feinabgestimmter Qwen-3.5-35B teure Frontier-Modelle in der Rolle eines „Trace-Judges” ersetzen kann — zu drastisch niedrigeren Kosten.

Was ist ein Trace-Judge und welches Problem löst er?

Ein Trace-Judge ist ein KI-Modell, das Produktions-Traces von Agenten auswertet, um Fehler zu erkennen, die der Nutzer bemerkt — Korrekturen, Ablehnungen und Wiederholungsanfragen. Anstatt dass menschliche Teams Tausende von Interaktionen manuell prüfen, markiert der Trace-Judge automatisch problematische Sitzungen. Die Herausforderung besteht darin, dass der Einsatz von Frontier-Modellen für diese Aufgabe mit wachsendem Trace-Volumen teuer wird.

Wie hat LangChain das Modell trainiert?

LangChain nahm Qwen-3.5-35B als Basis und führte LoRA-Fine-Tuning über Fireworks’ verwaltete SFT-Infrastruktur durch. LoRA (Low-Rank Adaptation) ist eine Fine-Tuning-Methode, die nur eine kleine Anzahl zusätzlicher Parameter statt des gesamten Modells ändert und damit das Training kostengünstiger macht. SFT (Supervised Fine-Tuning) ist überwachtes Lernen auf gekennzeichneten Beispielen. Der Trainingsset war klein — etwa 707 Beispiele aus der chat-langchain-Domäne und 727 von der Fleet-Plattform.

Wie gut und günstig ist das Modell?

Das feinabgestimmte Modell erreichte 96,1 % Genauigkeit auf dem chat-langchain-Set, gegenüber 91,6 % für Claude Opus und 98,9 % für GPT-4.5. Das Schlüsselergebnis ist der domänenübergreifende Transfer: Das auf chat-langchain-Daten abgestimmte Modell übertraf alle Frontier-Modelle auf Fleet-Daten (90,8 % gegenüber 90,2 % für Claude Opus). Es ist dabei 10 bis 100 Mal günstiger, wobei die Einsparungen mit dem Trace-Volumen steigen.

Wann wird es verfügbar?

LangChain kündigt einen Rollout für ausgewählte Nutzer in den kommenden Wochen an, mit breiterer Verfügbarkeit in ein bis zwei Monaten. Der Ansatz zeigt ein Muster, bei dem kleine, spezialisierte und feinabgestimmte Modelle enge, repetitive Evaluierungsaufgaben von allgemeinen Frontier-Modellen übernehmen.