arXiv:2606.28061: ToolPrivacyBench — misst „Need-to-Know”-Datenschutz in LLM-Agenten mit Werkzeugen

LLM-Agenten führen Aufgaben immer besser aus — aber wer überwacht, was sie mit privaten Daten tun?

Die Forscher Shijing Hu, Liang Liu, Zhu Meng und Zhicheng Zhao veröffentlichten auf arXiv ein Preprint, das ToolPrivacyBench einführt — einen Benchmark zur Messung des sogenannten purpose-bound-Datenschutzes in LLM-Agenten, die externe Werkzeuge nutzen. Die Arbeit mit dem Titel „ToolPrivacyBench: Benchmarking Purpose-Bound Privacy in Tool-Using LLM Agents” schließt eine Lücke in bisherigen Evaluierungen, die Datenschutz weitgehend vernachlässigt haben.

Was ist „purpose-bound”-Datenschutz und warum ist er wichtig?

Purpose-bound-Datenschutz — oder zweckgebundener Datenschutz — bedeutet, dass sensible Informationen ausschließlich an das Werkzeug gelangen dürfen, das für die Ausführung der konkreten Aufgabe wirklich benötigt wird. In einer Mehrwerkzeug-Trajektorie (Multi-Tool) kann ein Agent dutzende Werkzeuge nacheinander aufrufen: eine Datenbank, einen Kalender, eine Zahlungs-API, einen Benachrichtigungsdienst. Eine Information wie eine Sozialversicherungsnummer oder ein Krankenakte darf nur beim autorisierten Werkzeug ankommen — nicht „beiläufig” durch jeden Zwischenaufruf.

Bisherige Benchmarks messen, ob die Aufgabe abgeschlossen wurde. ToolPrivacyBench misst auch wie sie abgeschlossen wurde.

2.150 Testfälle, 9 Agenten, ein unangenehmer Befund

Der Benchmark enthält 2.150 Testfälle: 1.150 synthetische Geschäftsszenarien mit datenschutzsensitiven Datenflüssen und 1.000 aus bestehenden Multi-Tool-Benchmarks angepasste Fälle. Jeder Fall enthält eine Wissensbasis mit Datenoffenlegungsrichtlinien. Nachdem der Agent die Trajektorie ausgeführt hat, prüft ToolPrivacyBench die Argumente jedes Werkzeugaufrufs und die Hintergrundprotokolle — und vergleicht sie mit dieser Richtlinie.

Neun weit verbreitete Agenten wurden getestet. Der Befund ist konsistent: Agenten führen Aufgaben häufig erfolgreich aus, leiten dabei aber unnötige private Daten durch Zwischenaufrufe an Werkzeuge weiter, die diese gar nicht benötigen. Eine erfolgreiche Werkzeugausführung impliziert keinen angemessenen Datenschutz.

Implikationen für DSGVO und Enterprise-KI

Der Unterschied zwischen „funktioniert” und „funktioniert datenschutzkonform” wird in Unternehmensumgebungen kritisch. Das DSGVO-Prinzip der Datensparsamkeit korrespondiert direkt mit dem purpose-bound-Konzept aus ToolPrivacyBench. Unternehmenssysteme, die LLM-Agenten zur Verarbeitung von Kunden- oder Personaldaten einsetzen, müssen sich bewusst sein, dass Standard-Aufgaben diese Verhaltensebene nicht überprüfen.

Die Arbeit ist ein Preprint — nicht peer-reviewed — doch die Benchmark-Methodologie und der Umfang des Testsatzes machen sie zu einem nützlichen Referenzrahmen für Teams, die Agentensysteme entwickeln oder evaluieren.