LangChain：更廉价的法律 AI 智能体验证可将成本降低十倍

LangChain Labs 与 Harvey 公司合作，发布了一项关于如何更廉价地验证法律（legal）AI 智能体输出的研究。使用前沿模型对复杂的法律工作进行验证是成本上的瓶颈，研究人员试图解决这一问题。

他们是如何降低成本的？

团队测试了两种方法。第一种是 验证器批处理，即将多条评估标准合并到对 API 的一次调用中，而非分别发出请求。第二种是使用更廉价的 开源模型，例如 DeepSeek，并结合批处理。其结果是，据他们所述，每条标准的成本降低了一个数量级，即约十倍，同时保持了质量。

测试规模有多大？

研究在 40 项公开法律任务上进行，共有 2,348 条以通过或失败评定的单项评估标准。涵盖的领域包括企业并购、税务、成长型公司与风险投资以及遗产管理。受测模型包括 GPT-5.5、Sonnet 4.6、Haiku 4.5、DeepSeek v4 Flash 和 Claude Opus 4.7。

哪些模型表现最佳？

DeepSeek 脱颖而出，成为强有力的替代方案，以远低于 Opus 的成本达到了与之相当的准确率。Haiku 等更廉价的模型表现出有问题的误判通过率，每条标准高达 48.4%，这在法律场景中是不可取的。通过有针对性的提示优化，团队将 DeepSeek 的错误率从每条标准的 10.7% 降至 9.5%，在批处理模式下从 15.6% 降至 14.2%。