arXiv:2606.16723: AgentFairBench misst demografische Diskriminierung in Aktionen von LLM-Agenten

Ein neues Preprint stellt AgentFairBench vor, das erste Benchmark, das demografische Diskriminierung in den Aktionen von LLM-Agenten misst — nicht nur in ihren Textantworten.

Was misst AgentFairBench anders?

Bisherige Fairness-Tests prüften hauptsächlich Modellantworten, während AgentFairBench die tatsächlichen Aktionen des Agenten betrachtet — Entscheidungen, die er bei Aufgaben in den Bereichen Beschäftigung, Kreditvergabe und medizinische Triage trifft. Es verwendet zwei Metriken: Counterfactual Flip Rate (wie oft sich eine Entscheidung ändert, wenn ein demografisches Attribut geändert wird) und Action-Rate Disparity (Unterschied in der Aktionsrate zwischen Gruppen). Es testet vier Agenten-Scaffolds von einfach bis werkzeuggestützt.

Was sind die wichtigsten Ergebnisse?

In einem Pilot mit 864 Entscheidungen zeigte Claude Haiku keinen demografischen Effekt über dem Niveau des statistischen Rauschens. Die Studie warnt zusätzlich vor einer methodischen Falle: Der naive Vergleich von sechs demografischen Gruppen kann Ungleichheit aufgrund eines statistischen Artefakts um etwa 2,4-fach überschätzen. Das Design ist kostengünstig und reproduzierbar, was eine unabhängige Wiederholung der Tests erleichtert.

Warum ist das für die Regulierung relevant?

Das Benchmark adressiert direkt die Anforderungen des EU-KI-Gesetzes zur Überprüfung der Fairness in Hochrisikosystemen. Da Agenten Entscheidungen mit materiellen Konsequenzen übernehmen, wird die Messung von Voreingenommenheit auf Aktionsebene zur Voraussetzung für Konformität und Vertrauen.