LangChain: Günstigere Verifikation juristischer KI-Agenten senkt Kosten um das Zehnfache

LangChain Labs hat in Zusammenarbeit mit dem Unternehmen Harvey eine Studie darüber veröffentlicht, wie sich die Ausgaben juristischer (legal) KI-Agenten günstiger verifizieren lassen. Die Verifikation komplexer juristischer Arbeit mithilfe von Frontier-Modellen ist ein Kostenengpass, den die Forscher zu lösen versuchten.

Wie haben sie die Kosten gesenkt?

Das Team testete zwei Ansätze. Der erste ist das Bündeln von Verifizierern, also das Kombinieren mehrerer Bewertungskriterien in einen einzigen API-Aufruf statt separater Anfragen. Der zweite ist der Einsatz günstigerer offener Modelle wie DeepSeek zusammen mit dem Bündeln. Das Ergebnis ist eine Senkung der Kosten pro Kriterium um, wie sie angeben, eine Größenordnung, also etwa das Zehnfache, bei gleichbleibender Qualität.

Wie umfangreich war die Testung?

Die Studie wurde an 40 öffentlichen juristischen Aufgaben mit insgesamt 2.348 einzelnen Bewertungskriterien durchgeführt, die mit bestanden oder nicht bestanden bewertet wurden. Abgedeckt waren Bereiche wie Unternehmensfusionen und -übernahmen, Steuern, Wachstumsunternehmen und Venture Capital sowie Nachlassverwaltung. Zu den getesteten Modellen gehörten GPT-5.5, Sonnet 4.6, Haiku 4.5, DeepSeek v4 Flash und Claude Opus 4.7.

Welche Modelle schnitten am besten ab?

DeepSeek hob sich als starke Alternative hervor und erreichte eine mit Opus vergleichbare Genauigkeit bei dramatisch geringeren Kosten. Günstigere Modelle wie Haiku zeigten problematische Falsch-Bestanden-Raten von bis zu 48,4 Prozent pro Kriterium, was im juristischen Kontext unerwünscht ist. Durch gezielte Prompt-Optimierung senkte das Team DeepSeeks Fehlerrate von 10,7 auf 9,5 Prozent pro Kriterium und von 15,6 auf 14,2 Prozent im Batch-Modus.