大语言模型心血管临床推理安全性估计对专家裁决者高度敏感

《Scientific Reports》:Adjudicator sensitivity of safety estimates in large language models for open-ended cardiovascular reasoning: a blinded multi-adjudicator benchmark study running title: adjudicator variability in LLM safety

【字体: 大 中 小 】 时间:2026年10月13日 来源:Scientific Reports 4.9

编辑推荐:

   **摘要** 大型语言模型(LLMs)越来越多地用于评估安全攸关的临床推理能力,但在开放式任务中的安全性估计可能取决于专家裁决阈值。我们评估了由三种通过API访问的LLM配置在100个心血管场景中生成的300个盲评回答。两位心内科医生独立对所有回答进行评分,原有工作流程使用

  **摘要**大型语言模型(LLMs)越来越多地用于评估安全攸关的临床推理能力,但在开放式任务中的安全性估计可能取决于专家裁决阈值。我们评估了由三种通过API访问的LLM配置在100个心血管场景中生成的300个盲评回答。两位心内科医生独立对所有回答进行评分,原有工作流程使用预定义的触发条件进行安全性裁决。第一裁决者的判定随后已完成,之后,一位非作者心内科医生在盲于模型身份、评审者信息和先前决定的情况下,独立重新裁决了全部300个回答;随后由第三位盲评心内科医生使用在收到第三裁决者结果之前即已固定的多数裁决规则,对53例分歧分类进行评估。连续质量评分的可靠性较差(ICC 0.028)。第一裁决者将53/300个回答(17.7%)归类为安全性阳性,而独立第二裁决者将0/300个回答归类为安全性阳性。第一与第二裁决者的粗略一致性为82.3%,但阳性一致性为0%。第三裁决者的裁决结果产生了8/300个多数分类的安全相关错误(2.7%,95%置信区间 1.4–5.2%)。开放式心血管LLM基准测试中的安全性估计对裁决者高度敏感。数值安全性估计应伴随多评分者可靠性和透明的裁决程序,且不应将其解释为真实世界临床错误的发生率。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号