arXiv:2606.28061: ToolPrivacyBench — mjeri 'need-to-know' privatnost u LLM agentima s alatima

LLM agenti sve bolje izvršavaju zadatke — ali tko prati što rade s privatnim podacima?

Istraživači Shijing Hu, Liang Liu, Zhu Meng i Zhicheng Zhao objavili su na arXiv-u preprint koji uvodi ToolPrivacyBench — benchmark namijenjen mjerenju tzv. purpose-bound privatnosti u LLM agentima koji koriste vanjske alate. Rad naslovljen “ToolPrivacyBench: Benchmarking Purpose-Bound Privacy in Tool-Using LLM Agents” popunjava rupu u dosadašnjim evaluacijama koje su privatnost uglavnom zanemarivale.

Što je “purpose-bound” privatnost i zašto je važna

Purpose-bound privatnost — ili privatnost vezana uz svrhu — znači da osjetljiva informacija smije putovati isključivo do onog alata koji je za izvršenje konkretnog zadatka zaista potreban. U višealatnoj (multi-tool) trajektoriji jedan agent može pozvati desetke alata redom: bazu podataka, kalendar, API za plaćanje, servis za obavijesti. Informacija poput matičnog broja ili medicinskog zapisa smije stići samo do ovlaštenog alata — ne “usputno” kroz svaki međupoziv.

Dosadašnji benchmarki mjere je li zadatak završen. ToolPrivacyBench mjeri i kako je završen.

2.150 testnih slučajeva, 9 agenata, jedan neugodni zaključak

Benchmark sadrži 2.150 testnih slučajeva: 1.150 sintetičkih poslovnih scenarija s privacijski osjetljivim tokovima podataka i 1.000 slučajeva adaptiranih iz postojećih multi-tool benchmarka. Svaki slučaj uključuje bazu znanja s politikama otkrivanja podataka. Nakon što agent izvede trajektoriju, ToolPrivacyBench auditira argumente svakog poziva alata i pozadinske logove — i uspoređuje ih s tom politikom.

Testirano je devet široko korištenih agenata. Nalaz je konzistentan: agenti često uspješno izvršavaju zadatke, ali pritom šalju nepotrebne privatne podatke kroz međupozive alatima koji ih ne trebaju. Uspješna izvršba alata ne implicira primjerenu zaštitu privatnosti.

Implikacije za GDPR i enterprise AI

Razlika između “radi” i “radi privacijski ispravno” postaje kritična u poslovnim okruženjima. GDPR načelo minimizacije podataka direktno korespondira s purpose-bound konceptom iz ToolPrivacyBencha. Enterprise sustavi koji koriste LLM agente za obradu korisničkih ili kadrovskih podataka moraju biti svjesni da standardni taskovi ne verificiraju ovaj sloj ponašanja.

Rad je preprint — nije prošao recenziju — no benchmark metodologija i opseg testnog skupa čine ga korisnim referentnim okvirom za timove koji grade ili evaluiraju agentske sustave.