arXiv:2607.18086: Evidence-Sufficiency-Prompting senkt die Selbstüberschätzung klinischer LLMs, aber auch die Genauigkeit

Was ist Evidence-Sufficiency-Prompting?

Koyar Afrasyab testet im Paper „Judge-dependent safety gains and model-specific helpfulness costs of evidence-sufficiency prompting in clinical LLMs” (arXiv:2607.18086) einen strukturierten Prompt, der die Overconfidence, die übermäßige Selbstsicherheit klinischer Sprachmodelle in ihre eigenen diagnostischen Schlussfolgerungen, verringern soll. Evidence-Sufficiency-Prompting fordert das Modell explizit auf zu beurteilen, ob genügend Evidenz vorliegt, bevor es eine sichere Schlussfolgerung äußert. Der Test wurde an 4 Modellen und 1.200 gepaarten Vergleichen durchgeführt.

Rückgang der unsicheren Selbstüberschätzung von 49,3 % auf 24,7 %

Unsichere Selbstüberschätzung, also Fälle, in denen das Modell trotz unzureichender Evidenz sicher auftritt, sinkt durch Evidence-Sufficiency-Prompting von 49,3 % auf 24,7 %. Die Verbesserung ist jedoch judge-abhängig: Unterschiedliche Systeme oder Personen, die die Antworten des Modells beurteilen, erhalten für denselben Prompt deutlich unterschiedliche Effektgrößen.

Diagnostische Genauigkeit fällt von 80,3 % auf 50,3 %

Gleichzeitig sinkt die diagnostische Genauigkeit des Modells deutlich, von 80,3 % auf 50,3 %. Afrasyab folgert, dass Sicherheitsmaße klinischer LLMs als direktionale oder relative Veränderungen berichtet werden sollten, nicht als absolute Zahlen, und dass vor dem klinischen Einsatz eine menschliche Validierung jeder Schlussfolgerung zwingend erforderlich ist.