arXiv:2607.18086: 证据充分性提示降低了临床LLM的过度自信,但也降低了准确率
Koyar Afrasyab在4个临床语言模型和1,200组配对比较上测试了结构化的证据充分性(evidence-sufficiency)提示。不安全的过度自信从49.3%降至24.7%,但改善效果依赖于评估者(judge-dependent),而诊断准确率同时从80.3%降至50.3%,显示出安全性与实用性之间的权衡。
🤖
本文由人工智能基于一手来源生成。
什么是证据充分性提示?
Koyar Afrasyab在论文「Judge-dependent safety gains and model-specific helpfulness costs of evidence-sufficiency prompting in clinical LLMs」(arXiv:2607.18086)中测试了一种旨在降低临床语言模型对自身诊断结论过度自信(overconfidence)的结构化提示。证据充分性提示明确要求模型在给出确定结论之前,先评估现有证据是否充分。测试在4个模型和1,200组配对比较上进行。
不安全的过度自信从49.3%降至24.7%
不安全的过度自信——即模型在证据不足的情况下仍表现得很确定的情况——在采用证据充分性提示后从49.3%降至24.7%。但这一改善是judge-dependent的,即依赖于评估者:不同的评估系统或人员对同一提示所测得的效应大小存在显著差异。
诊断准确率从80.3%降至50.3%
与此同时,模型的诊断准确率大幅下降,从80.3%降至50.3%。Afrasyab总结认为,临床LLM安全性的相关指标应作为方向性或相对变化来报告,而非绝对数字,并且在临床应用之前,每一个结论都必须经过人工验证。
常见问题
- 什么是evidence-sufficiency prompting(证据充分性提示)?
- 证据充分性提示是一种结构化提示,明确要求临床语言模型在给出确定的诊断结论之前,先评估现有证据是否充分,目的是降低模型对自身论断的过度自信(overconfidence)。
- 为何安全性的改善是judge-dependent(依赖评估者)的?
- judge-dependent意味着改善的幅度取决于评估者——不同的评估系统或人员对同一提示所测得的效果存在显著差异,因此结果不能被视为一个普遍适用的绝对数字。
- 安全性与诊断准确率之间存在怎样的权衡?
- 采用证据充分性提示后,不安全的过度自信从49.3%降至24.7%,但诊断准确率同时从80.3%降至50.3%,这表明安全性的提升是以模型实用性的显著损失为代价的。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。