arXiv:2607.15166: MedFailBench mjeri NAČIN kvara medicinskih AI sustava, ne samo točnost, kroz 44 slučaja

Što MedFailBench mjeri drugačije od klasičnih benchmarka?

MedFailBench je benchmark koji su izradili klinički liječnici s ciljem mjerenja načina kvara (failure mode) medicinskih AI sustava — konkretnog obrasca na koji sustav pogriješi — umjesto uobičajenog fokusa isključivo na postotak točnih odgovora. Taj pomak fokusa omogućuje razlikovanje bezopasne greške od one koja ugrožava pacijenta.

Pet razina ozbiljnosti i šest tipova pogrešaka

Greške se kategoriziraju po ozbiljnosti na skali od 1 do 5 te po šest tipova: propušteni hitni slučajevi, nesigurne doze lijekova, nesigurne odluke o otpustu, izmišljanje dokaza, nesigurno izvršavanje protokola i nedostatak potpore u izvorima (source support gap). Takva taksonomija otkriva gdje točno model zakaže, a ne samo da je zakazao.

Sadržaj verzije v0.2.1

Trenutna verzija v0.2.1 sadrži 44 klinički pregledana sintetička slučaja, sigurnosnu taksonomiju, klinički rubrik za ocjenjivanje i automatiziran screening pipeline koji ubrzava provjeru novih modela.

Što MedFailBench namjerno ne sadrži?

Autori izričito naglašavaju da benchmark ne sadrži podatke stvarnih pacijenata, kliničke validacijske tvrdnje niti rang-liste modela — riječ je o alatu za otkrivanje sigurnosnih granica, a ne o certifikatu kliničke uporabljivosti. Projekt je objavljen pod licencama Apache-2.0 i CC-BY-4.0, uz DOI na Zenodu, što ga u usporedbi s klasičnim točnost-orijentiranim benchmarcima čini transparentnijim za neovisnu provjeru.