arXiv:2607.15166：MedFailBench通过44个案例衡量医疗AI系统失败的方式，而非仅仅衡量准确率

MedFailBench与经典基准测试的衡量方式有何不同？

MedFailBench是由临床医生开发的基准，目标是衡量医疗AI系统的失败方式（failure mode）——即系统出错时的具体模式——而不是像通常那样只关注正确回答的百分比。这种关注点的转移使得区分无害错误与危及患者安全的错误成为可能。

五个严重程度等级与六种错误类型

错误按1到5的严重程度等级分类，并分为六种类型：漏诊紧急情况、不安全的药物剂量、不安全的出院决定、编造证据、不安全的协议执行，以及来源支持缺口（source support gap）。这样的分类体系揭示了模型究竟在哪里出错，而不只是表明它出错了。

v0.2.1版本包含什么内容？

当前的v0.2.1版本包含44个经过临床审查的合成案例、一套安全分类体系、一份临床评分标准，以及一个能够加速新模型审查的自动化筛查流程。

MedFailBench刻意不包含什么？

作者明确强调，该基准不包含真实患者数据、临床验证声明，也没有模型排行榜——这是一个用于发现安全边界的工具，而不是临床可用性的认证证书。该项目以Apache-2.0与CC-BY-4.0许可证发布，并在Zenodo上拥有DOI，相较于传统的以准确率为导向的基准测试，这使其在独立核查方面更加透明。