ToolPrivacyBench：工具调用LLM智能体的隐私保护基准

ToolPrivacyBench是一个新基准，测试「目的约束」隐私——敏感信息是否仅发送给授权工具。包含2150个测试用例（1150个合成+1000个改编）的测试集揭示：9个被测智能体常规完成任务，但会不必要地暴露私人数据。

LLM智能体越来越善于完成任务——但谁在监控私人数据的去向？

研究人员胡石景、刘亮、孟珠和赵志成在arXiv发布预印本，引入ToolPrivacyBench——专为衡量使用外部工具的LLM智能体的所谓目的约束隐私而设计的基准。题为「ToolPrivacyBench：工具调用LLM智能体目的约束隐私基准测试」的论文填补了以往评估中普遍忽视隐私的空白。

目的约束隐私——或与目的相关的隐私——意味着敏感信息只能流向执行特定任务真正必需的工具。在多工具轨迹中，单个智能体可能依次调用数十个工具：数据库、日历、支付API、通知服务。身份证号码或医疗记录只能到达授权工具——而不是「顺道」流经每个中间调用。

以往的基准衡量任务是否完成。ToolPrivacyBench还衡量如何完成。

基准包含2150个测试用例：1150个具有隐私敏感数据流的合成业务场景，以及1000个改编自现有多工具基准的用例。每个用例包含带有数据披露策略的知识库。智能体执行轨迹后，ToolPrivacyBench审计每次工具调用的参数和后台日志——并与该策略比对。

共测试了9个广泛使用的智能体。发现一致：智能体往往成功完成任务，但同时通过中间调用向不需要私人数据的工具发送了不必要的私人数据。工具调用成功并不意味着隐私保护适当。

「能用」与「用得合乎隐私」之间的差异在企业环境中变得至关重要。GDPR数据最小化原则与ToolPrivacyBench中的目的约束概念直接对应。使用LLM智能体处理用户或人事数据的企业系统必须认识到，标准任务评估不验证这一层面的行为。

该论文是预印本——尚未经过同行评审——但基准方法论和测试集规模使其成为构建或评估智能体系统团队的有用参考框架。

常见问题

在LLM智能体背景下，「目的约束」隐私是什么？

这是「知其所需」原则：敏感信息只能传递给执行任务真正必需的工具。ToolPrivacyBench正是衡量这一点——私人数据是否仅流向授权工具调用，还是流经不需要它的中间调用。

为什么成功完成任务不足以评估智能体的隐私保护？

因为智能体可以正确完成业务任务，同时将敏感数据（个人、财务、医疗）传递给不需要它的工具。ToolPrivacyBench记录每次工具调用的参数并与披露策略比对——而标准任务评估并不这样做。