arXiv:2607.18086: Evidence-sufficiency prompt smanjuje pretjeranu sigurnost kliničkih LLM-ova, ali i točnost
Koyar Afrasyab testira strukturirani evidence-sufficiency prompt na 4 klinička jezična modela i 1.200 uparenih usporedbi. Nesigurna pretjerana sigurnost pada s 49,3% na 24,7%, no poboljšanje ovisi o evaluatoru (judge-dependent), dok dijagnostička točnost istovremeno pada s 80,3% na 50,3%, što upućuje na kompromis između sigurnosti i korisnosti.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Što je evidence-sufficiency prompting?
Koyar Afrasyab u radu “Judge-dependent safety gains and model-specific helpfulness costs of evidence-sufficiency prompting in clinical LLMs” (arXiv:2607.18086) testira strukturirani prompt osmišljen da smanji overconfidence, pretjeranu sigurnost kliničkih jezičnih modela u vlastite dijagnostičke zaključke. Evidence-sufficiency prompting eksplicitno traži od modela da procijeni ima li dovoljno dokaza prije nego iznese siguran zaključak. Testiranje je provedeno na 4 modela i 1.200 uparenih usporedbi.
Pad nesigurne pretjerane sigurnosti s 49,3% na 24,7%
Nesigurna pretjerana sigurnost, odnosno slučajevi kad model djeluje sigurno unatoč nedovoljnim dokazima, pada s 49,3% na 24,7% uz evidence-sufficiency prompting. No poboljšanje je judge-dependent, ovisno o evaluatoru: različiti sustavi ili osobe koje procjenjuju odgovore modela dobivaju bitno različite veličine efekta za isti prompt.
Dijagnostička točnost pada s 80,3% na 50,3%
Istovremeno, dijagnostička točnost modela znatno pada, s 80,3% na 50,3%. Afrasyab zaključuje da mjere sigurnosti kliničkih LLM-ova treba prijavljivati kao direkcijske ili relativne promjene, ne kao apsolutne brojke, te da je prije kliničke primjene obavezna ljudska validacija svakog zaključka.
Česta pitanja
- Što je evidence-sufficiency prompting?
- Evidence-sufficiency prompting je strukturirani prompt koji od kliničkog jezičnog modela eksplicitno traži da procijeni ima li dovoljno dokaza prije nego iznese siguran dijagnostički zaključak, s ciljem smanjenja overconfidence, odnosno pretjerane sigurnosti modela u vlastite tvrdnje.
- Zašto je poboljšanje sigurnosti judge-dependent?
- Judge-dependent znači da veličina poboljšanja ovisi o evaluatoru — različiti sustavi ili osobe koje ocjenjuju odgovore modela mjere bitno različite efekte istog prompta, pa se rezultat ne može promatrati kao jedna univerzalna, apsolutna brojka.
- Koji je kompromis između sigurnosti i dijagnostičke točnosti?
- Nesigurna pretjerana sigurnost pada s 49,3% na 24,7% uz evidence-sufficiency prompting, ali dijagnostička točnost istovremeno pada s 80,3% na 50,3%, što pokazuje da dobitak u sigurnosti dolazi uz značajan trošak u korisnosti modela.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.
Povezane vijesti
arXiv:2607.17779: MIND okvir zaobilazi obranu text-to-image modela stopom uspješnosti napada od 95,62%
OpenAI: zajednički rani nalazi s Hugging Faceom o sigurnosnom incidentu tijekom evaluacije AI modela
Sakana AI: Fugu-Cyber postiže 86,9% na CyberGym i 72,1% na CTI-REALM testu, usporedivo s GPT-5.5-Cyber