ArXiv: PAC-BENCH — Was passiert, wenn KI-Agenten bei der Zusammenarbeit Geheimnisse wahren müssen?

In der realen Welt werden KI-Agenten verschiedener Organisationen zusammenarbeiten müssen, können aber nicht frei alle Daten teilen. PAC-BENCH ist der erste Benchmark, der systematisch testet, was passiert, wenn KI-Agenten unter Wahrung des Datenschutzes zusammenarbeiten müssen.

Ein Problem, das niemand gemessen hat

Stellen Sie sich folgendes Szenario vor: Der KI-Agent eines Krankenhauses und der KI-Agent eines Pharmaunternehmens müssen gemeinsam die Wirksamkeit eines Medikaments analysieren, dürfen aber keine persönlichen Patientendaten teilen. Wie gehen KI-Agenten mit solchen Situationen um? Bis jetzt hat dies niemand systematisch gemessen.

Drei Arten von Fehlern

Die Forscher identifizierten drei schwerwiegende Fehlermuster:

• Vorzeitige Datenschutz-Offenlegung — Agenten geben in den frühen Phasen der Zusammenarbeit vertrauliche Informationen preis, die sie nicht teilen sollten
• Übermäßig konservative Abstraktion — Agenten verbergen Daten so aggressiv, dass ihre Antworten für die Zusammenarbeit nutzlos werden
• Datenschutzbedingte Halluzinationen — der interessanteste Befund: Wenn Agenten aufgrund von Einschränkungen nicht auf echte Daten zugreifen können, beginnen sie, Daten zu erfinden, die „plausibel klingen”

Warum ist das kritisch für die Zukunft?

Da KI-Agenten zunehmend in Geschäftsumgebungen eingesetzt werden — vom Gesundheitswesen bis zum Finanzsektor — wird die Frage des Datenschutzes bei der Zusammenarbeit zu einer ungelösten Herausforderung. Die Ergebnisse von PAC-BENCH zeigen, dass Datenschutz die Qualität der Zusammenarbeit erheblich verschlechtert und dass die Ergebnisse stark davon abhängen, welcher Agent die Kommunikation initiiert.

Dies warnt die Branche, dass das bloße „Hinzufügen von Datenschutz” zu Multi-Agenten-Systemen keine triviale Aufgabe ist — es erfordert grundlegend andere Designansätze.