LangChain：法律 AI エージェントの安価な検証でコストを10分の1に削減

LangChain Labs は Harvey 社と協力し、法律（legal）AI エージェントの出力をいかに安価に検証するかについての研究を発表した。フロンティアモデルを用いた複雑な法律業務の検証はコストのボトルネックであり、研究者たちはこれを解決しようと試みた。

どのようにコストを下げたのか？

チームは2つの手法を検証した。1つ目は 検証器のバッチ処理 で、個別にリクエストを送る代わりに、複数の評価基準を1回の API 呼び出しにまとめるものだ。2つ目は、DeepSeek のようなより安価な オープンモデル をバッチ処理と組み合わせて使うことである。結果として、彼らによれば基準あたりのコストが一桁、すなわちおよそ10分の1になり、品質は保たれた。

検証はどれほど大規模だったか？

研究は40件の公開された法律タスクで行われ、合格・不合格で評価された個別の評価基準は計2,348件にのぼった。対象領域には、企業の合併・買収、税務、成長企業とベンチャーキャピタル、そして遺産管理が含まれる。検証されたモデルには、GPT-5.5、Sonnet 4.6、Haiku 4.5、DeepSeek v4 Flash、Claude Opus 4.7 が含まれていた。

どのモデルが最も良かったか？

DeepSeek は強力な代替手段として際立ち、Opus に匹敵する精度を劇的に低いコストで達成した。Haiku のようなより安価なモデルは、基準あたり48.4%にも達する問題のある誤合格率を示し、これは法律の文脈では望ましくない。的を絞ったプロンプト最適化により、チームは DeepSeek の誤り率を基準あたり10.7%から9.5%へ、バッチモードでは15.6%から14.2%へと下げた。