arXiv:2606.16723: AgentFairBenchがLLMエージェントの行動における人口統計的差別を測定
AgentFairBenchは、雇用、信用、医療トリアージの領域でLLMエージェントの回答だけでなく実際の行動における人口統計的不平等を測定する初のベンチマークです。反実仮想フリップ率と行動率格差の2つの指標を使用し、4つのエージェントスキャフォールドをテストします。864回の決定のパイロットでClaude Haikuはノイズレベルを超える人口統計的効果を示さず、6つのグループの単純な比較が不平等を約2.4倍過大評価する可能性があると警告しています。
この記事はAIにより一次情報源から生成されました。
新しいプレプリントはAgentFairBenchを紹介しています。LLMエージェントの行動——テキスト回答だけでなく——における人口統計的差別を測定する初のベンチマークです。
AgentFairBenchは何が違いますか？
これまでの公平性テストは主にモデルの回答を検証していましたが、AgentFairBenchはエージェントの実際の行動——雇用、信用、医療トリアージのタスクでエージェントが下す決定——を見ます。2つの指標を使用します：反実仮想フリップ率（人口統計属性が変わったときに決定が変わる頻度）と行動率格差（グループ間の行動率の差異）。単純なものからツール付きまで、4つのエージェントスキャフォールドをテストします。
主要な発見は何ですか？
864回の決定のパイロットで、Claude Haikuは統計的ノイズのレベルを超える人口統計的効果を示しませんでした。論文は方法論的な落とし穴についても警告しています：6つの人口統計グループの単純な比較は統計的アーティファクトにより不平等を約2.4倍過大評価する可能性があります。設計は低コストで再現可能であり、独立した再テストが容易です。
なぜこれは規制に関連しますか？
このベンチマークはEU AI法のハイリスクシステムの公平性監査要件に直接対応しています。エージェントが実質的な結果をもたらす決定を下すようになるにつれ、行動レベルでのバイアス測定がコンプライアンスと信頼の前提条件となります。
よくある質問
- AgentFairBenchは何を測定しますか？
- テキスト回答だけでなく、雇用、信用、医療トリアージにわたるLLMエージェントの行動における人口統計的不平等を測定します。
- どんな指標を使いますか？
- 反実仮想フリップ率と行動率格差で、4つのエージェントスキャフォールドをテストします。