LangChain: Jeftinija verifikacija pravnih AI agenata smanjuje trošak deseterostruko
LangChain Labs je u suradnji s Harveyjem objavio istraživanje o jeftinijoj verifikaciji izlaza pravnih AI agenata. Batchanje verifiera i korištenje otvorenih modela smanjuje trošak po kriteriju za otprilike deset puta, uz zadržavanje kvalitete usporedive s frontier modelima.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
LangChain Labs, u suradnji s tvrtkom Harvey, objavio je istraživanje o tome kako jeftinije verificirati izlaze pravnih (legal) AI agenata. Verifikacija složenog pravnog rada pomoću frontier modela predstavlja usko grlo troška, koje su istraživači pokušali riješiti.
Kako su smanjili trošak?
Tim je testirao dva pristupa. Prvi je batchanje verifiera, odnosno kombiniranje više evaluacijskih kriterija u jedan poziv prema API-ju umjesto zasebnih zahtjeva. Drugi je korištenje jeftinijih otvorenih modela, poput DeepSeeka, uz batchanje. Rezultat je smanjenje troška po kriteriju za, kako navode, red veličine, dakle otprilike deset puta, uz zadržavanje kvalitete.
Koliko je opsežno bilo testiranje?
Istraživanje je provedeno na 40 javnih pravnih zadataka s ukupno 2.348 pojedinačnih evaluacijskih kriterija ocijenjenih prolazom ili padom. Pokriveni su područja poput korporativnih spajanja i preuzimanja, poreza, rastućih kompanija i venture capitala te uprava ostavinama. Testirani modeli uključivali su GPT-5.5, Sonnet 4.6, Haiku 4.5, DeepSeek v4 Flash i Claude Opus 4.7.
Koji su modeli najbolje prošli?
DeepSeek se istaknuo kao snažna alternativa, dosegnuvši točnost usporedivu s Opusom uz dramatično niži trošak. Jeftiniji modeli poput Haikua pokazali su problematične stope lažnih prolaza, čak 48,4 posto po kriteriju, što je u pravnom kontekstu nepoželjno. Ciljanom optimizacijom prompta tim je DeepSeekovu stopu pogreške spustio s 10,7 na 9,5 posto po kriteriju, te s 15,6 na 14,2 posto u batch načinu.
Česta pitanja
- Kako se smanjuje trošak verifikacije?
- Kombinacijom batchanja više evaluacijskih kriterija u jedan poziv i korištenja jeftinijih otvorenih modela poput DeepSeeka, trošak po kriteriju pada za otprilike deset puta.
- Je li jeftiniji model zadržao kvalitetu?
- DeepSeek je dosegao točnost usporedivu s frontier modelima poput Opusa uz znatno niži trošak, dok su neki jeftiniji modeli imali previsoke stope lažnih prolaza.
Izvori
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.
Povezane vijesti
arXiv:2607.11307: ToMap — višeagentna autoformalizacija matematičkih dokaza +19% nad SOTA
Anthropic: Claude Code v2.1.208 i v2.1.209 — screen reader, vim remaps i wrapper podrška
arXiv:2607.09415: samovođeni test-time trening podiže dugokontekstne LLM-ove do 15%