
-
生物通官微
陪你抓住生命科技
跳动的脉搏
大型语言模型与资深泌尿科医生在侵入性尿动力学解释中的诊断一致性比较研究
《BMC Urology》:Large language models for invasive urodynamic interpretation: a blinded comparison with experienced urologists
【字体: 大 中 小 】 时间:2026年10月09日 来源:BMC Urology 2.3
编辑推荐:
摘要背景与目的大型语言模型(LLMs)日益被探索作为临床决策支持工具,但它们在侵入性尿动力学解释中的表现尚缺乏充分表征。本研究比较了四种 LLM 配置与两位盲法评估的资深泌尿科医生在侵入性尿动力学解释中的诊断一致性。方法本回顾性研究分析了 113 项尿动力学检查(UDS)(6
大型语言模型(LLMs)日益被探索作为临床决策支持工具,但它们在侵入性尿动力学解释中的表现尚缺乏充分表征。本研究比较了四种 LLM 配置与两位盲法评估的资深泌尿科医生在侵入性尿动力学解释中的诊断一致性。
本回顾性研究分析了 113 项尿动力学检查(UDS)(62 例女性,51 例男性)。两位资深泌尿科医生独立且盲法评估了每份匿名 PDF 报告。相同的报告由 GPT-4o 和 Claude Sonnet 4 使用两种提示策略进行分析:基于规则的(结合 ICS 建议和操作性阈值的预定义诊断标准)和直觉式的(整体临床推理),从而在六种诊断中产生了四个分析组:膀胱出口梗阻(BOO)、逼尿肌无力(DU)、膀胱顺应性降低、膀胱顺应性增高、弛缓性膀胱和正常尿动力学检查。一致性使用 Cohen's kappa 和 Pearson 相关系数进行量化。
泌尿科医生之间的观察者间一致性为显著至几乎完美(平均 κ = 0.727),其中 DU 最高(κ = 0.942)。所有 LLM 配置对主要数值尿动力学参数的提取完全相同(r = 1.000),尽管在使用直觉式提示时,衍生指数(BOOI 和 BCI)观察到变异性。在使用 Claude-Intuitive 策略时,LLM 与泌尿科医生在 DU 和 BOO 上的一致性最高(κ 分别高达 0.753 和 0.522),而基于规则的提示在几个阈值定义诊断中取得了一致性最高。在两位泌尿科医生独立得出相同结论的共识子集中,一致性显著增加(完全共识,n = 67:DU κ = 0.802;特定诊断,n = 110:DU κ = 0.769),这表明大部分表面上的分歧集中在缺乏一致泌尿科医生评估的病例中。
当代 LLM 配置对主要数值尿动力学参数的提取完全相同,并在特定诊断类别上与资深泌尿科医生达成了显著一致性,尤其是逼尿肌无力,而膀胱出口梗阻观察到较低的一致性。在泌尿科医生评估一致的病例中,一致性更高。基于六种预定义诊断类别在两种提示策略下评估的发现,支持 LLM 作为特定尿动力学参数的辅助决策支持工具的潜在作用,而不是作为专家评估的替代品或综合尿动力学解释能力的证据。
大型语言模型(LLMs)日益被探索作为临床决策支持工具,但它们在侵入性尿动力学解释中的表现尚缺乏充分表征。本研究比较了四种 LLM 配置与两位盲法评估的资深泌尿科医生在侵入性尿动力学解释中的诊断一致性。
本回顾性研究分析了 113 项尿动力学检查(UDS)(62 例女性,51 例男性)。两位资深泌尿科医生独立且盲法评估了每份匿名 PDF 报告。相同的报告由 GPT-4o 和 Claude Sonnet 4 使用两种提示策略进行分析:基于规则的(结合 ICS 建议和操作性阈值的预定义诊断标准)和直觉式的(整体临床推理),从而在六种诊断中产生了四个分析组:膀胱出口梗阻(BOO)、逼尿肌无力(DU)、膀胱顺应性降低、膀胱顺应性增高、弛缓性膀胱和正常尿动力学检查。一致性使用 Cohen's kappa 和 Pearson 相关系数进行量化。
泌尿科医生之间的观察者间一致性为显著至几乎完美(平均 κ = 0.727),其中 DU 最高(κ = 0.942)。所有 LLM 配置对主要数值尿动力学参数的提取完全相同(r = 1.000),尽管在使用直觉式提示时,衍生指数(BOOI 和 BCI)观察到变异性。在使用 Claude-Intuitive 策略时,LLM 与泌尿科医生在 DU 和 BOO 上的一致性最高(κ 分别高达 0.753 和 0.522),而基于规则的提示在几个阈值定义诊断中取得了一致性最高。在两位泌尿科医生独立得出相同结论的共识子集中,一致性显著增加(完全共识,n = 67:DU κ = 0.802;特定诊断,n = 110:DU κ = 0.769),这表明大部分表面上的分歧集中在缺乏一致泌尿科医生评估的病例中。
当代 LLM 配置对主要数值尿动力学参数的提取完全相同,并在特定诊断类别上与资深泌尿科医生达成了显著一致性,尤其是逼尿肌无力,而膀胱出口梗阻观察到较低的一致性。在泌尿科医生评估一致的病例中,一致性更高。基于六种预定义诊断类别在两种提示策略下评估的发现,支持 LLM 作为特定尿动力学参数的辅助决策支持工具的潜在作用,而不是作为专家评估的替代品或综合尿动力学解释能力的证据。