ArXiv IatroBench:AI の安全メカニズムが非専門家への助けを 13.1 パーセンテージポイント減少

安全性が危害に変わるとき

研究者の Gringras 氏は、4 月 10 日に ArXiv で論文 IatroBench を発表しました。これは、著者が**「アイデンティティ依存の差し控え」**と呼ぶものを測定する事前登録ベンチマークです。これは、AI モデルがユーザーの自己紹介の仕方に応じて同じ質問に対して著しく異なる回答を提供する状況を表す用語です。

「Iatro」という名前は、医学用語「医原性被害」(治療の過程自体によって引き起こされる被害)に由来しています。類推により、AI の安全性による医原性被害とは、安全メカニズムが防ぐ被害よりも大きな全体的な被害を引き起こすときのことです。

主な発見

ベンチマークは、同じクエリを以下の二者が行ったときの回答の質の違いを測定します:

• 専門家 — 職業によって自己を識別する(「医師として…」、「セキュリティエンジニアとして…」)
• 非専門家 — 専門的な背景を示さない

フロンティアモデルは、質問が非専門家から来たときに有用なガイダンスを提供する頻度が 13.1 パーセンテージポイント低くなります。同じ技術的内容が差し控えられるか、「あなたの知識分野を超えている」として提示されます。これは現実の状況で具体的な結果をもたらします(例えば、医師にアクセスできない人は、正しいボタンを押す方法を知っている人よりも有用な情報を得ることができません)。

影響

IatroBench は、プログラマが直感的に長い間知っていた問題を形式化しています。安全フィルターは、攻撃者が自己を表現する方法を知って制限を回避する一方で、通常のユーザーをあまりにも頻繁に「罰する」のです。事前登録設計のため、この論文には追加の方法論的重みがあります。著者は実験を実施する前に指標と基準を定義しており、これによって p-hacking が防止されます。

この論文は、現在の安全スタック(RLHF + フィルター)が分布的に不公平であるという高まりつつある批判に完璧に適合しています。なぜなら、それは異なる社会経済的プロファイルと教育を持つユーザーに対して異なる扱いをするからです。