arXiv:2607.15166：MedFailBenchが44の事例で医療AIシステムの失敗の仕方を測定、正確性だけではない

MedFailBenchは従来のベンチマークと何が違うのか？

MedFailBenchは、臨床医が構築したベンチマークで、正解率だけに焦点を当てる従来の方法ではなく、医療AIシステムの失敗の仕方（failure mode）——システムが誤る具体的なパターン——を測定することを目的としています。この焦点の転換により、無害なミスと患者を危険にさらすミスを区別できるようになります。

5段階の重大度と6種類のエラー

エラーは1から5までの重大度スケールと、6つの種類——見逃された救急事例、安全でない薬剤投与量、安全でない退院判断、証拠の捏造、安全でないプロトコル実行、そしてソースの裏付け不足（source support gap）——によって分類されます。このような分類体系は、モデルが失敗したという事実だけでなく、どこでどのように失敗したのかを明らかにします。

v0.2.1にはどのような内容が含まれるのか？

現行のv0.2.1には、臨床的にレビューされた44の合成事例、安全性の分類体系、臨床用の採点基準、そして新しいモデルの検証を迅速化する自動化スクリーニングパイプラインが含まれています。

MedFailBenchに意図的に含まれていないものは？

著者らは、このベンチマークに実際の患者データ、臨床的な妥当性の主張、モデルのランキングのいずれも含まれていないことを明確に強調しています。これは臨床的な有用性を証明する認定書ではなく、安全性の境界を発見するためのツールです。プロジェクトはApache-2.0およびCC-BY-4.0ライセンスの下で公開され、ZenodoにDOIを持っており、従来の正確性重視のベンチマークと比べて、独立した検証に対してより透明性が高いものとなっています。