LangChain: 법률 AI 에이전트 검증 비용을 10배 절감

LangChain Labs는 Harvey와 협력해 법률(legal) AI 에이전트의 출력을 더 저렴하게 검증하는 방법에 관한 연구를 발표했다. 프런티어 모델로 복잡한 법률 작업을 검증하는 일은 비용의 병목이며, 연구진은 이를 해결하고자 했다.

비용은 어떻게 줄였는가?

연구팀은 두 가지 접근법을 테스트했다. 첫 번째는 검증기 배치 처리, 즉 별도의 요청 대신 여러 평가 기준을 하나의 API 호출로 결합하는 것이다. 두 번째는 DeepSeek 같은 더 저렴한 오픈 모델을 배치 처리와 함께 사용하는 것이다. 그 결과, 연구진의 표현대로 기준당 비용이 한 자릿수 단위, 즉 약 10배 절감되면서도 품질이 유지되었다.

테스트는 얼마나 광범위했는가?

연구는 총 2,348개의 개별 평가 기준을 통과 또는 실패로 채점한 40개의 공개 법률 작업에서 수행되었다. 기업 인수합병, 세무, 성장 기업 및 벤처 캐피털, 유산 관리 같은 영역이 다뤄졌다. 테스트한 모델로는 GPT-5.5, Sonnet 4.6, Haiku 4.5, DeepSeek v4 Flash, Claude Opus 4.7이 포함되었다.

어떤 모델이 가장 좋았는가?

DeepSeek은 극적으로 낮은 비용으로 Opus에 견줄 만한 정확도를 달성하며 강력한 대안으로 두각을 나타냈다. Haiku 같은 더 저렴한 모델은 기준당 거짓 통과 비율이 무려 48.4%에 달해 문제를 보였는데, 이는 법률 맥락에서 바람직하지 않다. 표적화된 프롬프트 최적화를 통해 연구팀은 DeepSeek의 기준당 오류율을 10.7%에서 9.5%로, 배치 모드에서는 15.6%에서 14.2%로 낮췄다.