ArXiv IatroBench:AI 安全机制让给非专业人士的帮助减少 13.1 个百分点

当安全变成伤害

研究人员 Gringras 于 4 月 10 日在 ArXiv 上发布了 IatroBench 论文——一个预注册基准测试,测量作者所称的**“身份相关隐瞒”**。这个术语用于描述 AI 模型根据用户自我表述的方式对同一问题给出明显不同答案的情况。

“Iatro”这个名字来自医学术语”医源性伤害”——由治疗过程本身造成的伤害。类推,AI 安全造成的医源性伤害是指安全机制造成的整体伤害大于其所预防的伤害。

主要发现

该基准测试衡量同一查询在以下情况下答案质量的差异:

• 专家 — 通过职业身份识别(“作为医生……”、“作为安全工程师……”)
• 非专业人士 — 不提供任何专业背景

前沿模型在问题来自非专业人士时,提供有用指导的频率降低 13.1 个百分点。相同的技术内容会被隐瞒或被呈现为”超出您的知识领域”——这在现实情境中有切实的后果(例如,无法看医生的人获得的信息不如知道按下正确按钮的人有用)。

影响

IatroBench 形式化了程序员直觉上早已熟知的问题:安全过滤器过于频繁地”惩罚”普通用户,而知道如何表述自己的攻击者却能绕过限制。由于预注册设计,该论文具有额外的方法论分量——作者在进行实验之前定义了指标和标准,这防止了 p-hacking。

该论文完美契合了对当前安全堆栈(RLHF + 过滤器)分布性不公平的日益增长的批评,因为它对具有不同社会经济背景和教育水平的用户施以不同的对待。