《Frontiers in Medicine》:Accuracy and reproducibility of a large language model in assessing spirometry test acceptability and interpretation: a performance study
编辑推荐:
背景: 肺量计检查(spirometry)是临床实践中用于评估呼吸功能和诊断通气障碍最常用的肺功能检测之一。测试有效性的评估和判读通常由经过培训的专业医疗人员进行。本研究旨在评估一种公开可用的大型语言模型(large language model, LLM)执
背景: 肺量计检查(spirometry)是临床实践中用于评估呼吸功能和诊断通气障碍最常用的肺功能检测之一。测试有效性的评估和判读通常由经过培训的专业医疗人员进行。本研究旨在评估一种公开可用的大型语言模型(large language model, LLM)执行肺量计检查质量保证和判读的能力。
方法: 研究人员从肺功能实验室回顾性收集了总计150例肺量计检查。这些检查的可接受性由临床医生根据美国胸科学会/欧洲呼吸学会(ATS/ERS)推荐标准进行评估和判读,作为常规临床实践的一部分。随后,研究人员提示一种公开可用的LLM(ChatGPT 5.5)根据ATS/ERS标准评估相同肺量计检查的可接受性并进行判读。该模型对每项肺量计检查独立评估三次,以评估可重复性。通过将LLM评估与临床医生的评估进行比较,计算了准确性、灵敏度、特异度、阳性预测值(positive predictive value, PPV)和阴性预测值(negative predictive value, NPV)及其95%置信区间(confidence intervals, CIs)。
结果: 对于肺量计检查可接受性评估,ChatGPT的总体准确性为87%(95% CI: 81%-92%),灵敏度为91%(95% CI: 85%-95%),特异度为61%(95% CI: 39%-80%),PPV为94%(95% CI: 89%-97%),NPV为48%(95% CI: 29%-67%),Cohen's κ值为0.46。与临床医生参考标准的肺量计判读一致性为中等,精确一致率为0.61(95% CI: 0.54–0.69),未加权Cohen's Kappa为0.47(95% CI: 0.37–0.56),宏F1分数为0.39(95% CI: 0.33–0.49)。三个独立试验间的可重复性为中等(Fleiss' κ = 0.58)。按类别划分的判读性能因类别而异;正常模式和限制性缺陷的灵敏度最高(均为0.72),而阻塞性缺陷的灵敏度为0.27。正常和限制性缺陷的F1分数最高(分别为0.81和0.62)。
结论: 当前研究结果表明,在其当前发展阶段,ChatGPT 5.5作为临床实践中独立的肺量计判读工具的可靠性有限。尽管如此,它可作为临床决策和教育工具的辅助手段。需要进行前瞻性对照研究来证实这些发现。
论文解读文章
研究背景与目的
肺量计检查(spirometry)是临床上应用最广泛的肺功能测试之一,主要用于诊断和监测肺部疾病、评估呼吸道症状,并为术前及就业前评估提供支持。该检查高度依赖受试者的最大努力才能产生有效结果。不符合质量标准的结果可能误导临床医生,导致错误分类。尽管美国胸科学会/欧洲呼吸学会(ATS/ERS)制定了严格的标准化程序以确保测试有效性,但早期报告发现相当比例的肺量计检查未能达到标准化标准。即使在经验丰富的人员操作下,近期研究显示仅有62.5%的检查完全满足ATS/ERS 2019年可接受性标准,凸显了在临床实践中实现最佳肺量计质量的持续挑战。
人工智能(AI)程序正在医学各领域迅速兴起,积累的证据支持其在增强临床实践和决策方面的巨大潜力。此前已有研究开发卷积神经网络(CNN)评估肺量计检查的可接受性和可用性,并取得了与认证审阅者相当的协议水平。然而,关于通用型大型语言模型(LLM)在肺量计检查质量保证和判读方面能力的评估仍然稀缺。本研究旨在评估公开可用的LLM(ChatGPT 5.5)依据ATS/ERS标准进行肺量计检查质量保证的能力,以及将其判读结果与肺科医师进行比较的能力。
研究方法
研究人员从沙特阿拉伯吉达两家医院的两个肺功能实验室回顾性收集了150例肺量计检查。检查由经验丰富的肺功能实验室工作人员执行。一位经认证的资深呼吸治疗师依据ATS/ERS标准独立评估每项检查的技术质量,其评估作为可接受性分析的参考标准。临床判读由肺科团队根据标准判读原则和ATS/ERS指南分配,作为判读分析的参考标准。索引测试为基于GPT-5.5的ChatGPT。研究人员向LLM提供了标准化的指令集和Ruppel's肺功能检查手册(第12版),然后逐一上传去标识化的肺量计报告。LLM被指示利用可用的流量-容积曲线、容积-时间曲线、数值肺量计数据及提供的指令进行评估。对于技术质量评估,LLM需将总体可接受性及三个单项标准(满意的测试起始、最小呼气时间、用力呼气结束标准)分类为“是”或“否”。对于判读,LLM需将每项检查归入六个互斥类别之一:正常、阻塞性、限制性、混合性、非特异性或不可判读。每项检查在三个不同场合使用相同的标准化提示进行评估(试验1、2、3),以评估可重复性。对于有支气管舒张后测量数据的检查,LLM还被要求判断支气管舒张反应是否显著。
研究结果
研究队列:最终分析队列包括150名参与者。其中98.7%为高加索人种,58.0%为女性,平均年龄47.5±18.2岁,平均BMI为29.5±6.5 kg/m2。134名参与者(89.3%)有支气管舒张后测量数据,其中117名具有有效的成对临床医生和LLM支气管舒张反应分类,被纳入反应性分析。
技术质量和可接受性:LLM在评估单个肺量计质量标准方面表现出高准确性,总体可接受性准确性为0.87(95% CI, 0.81–0.92)。总体可接受性的灵敏度很高(0.91; 95% CI, 0.85–0.95),所有单个标准的灵敏度近乎完美(≥0.99),而特异度较低,尤其是测试起始标准(0.25; 95% CI, 0.07–0.59)。一致性超越偶然的水平在总体可接受性方面为中等(Cohen's κ = 0.46),在呼气时间和用力呼气结束标准方面为实质(Cohen's κ均为0.61)。
肺量计质量评估的一致模式:不一致主要表现为LLM将临床医生评定为不满意的检查分类为满意。假阴性分类在总体可接受性(n=12)和测试起始(n=1)中出现,而呼气时间和用力呼气结束无假阴性。假阳性分类最常见于用力呼气结束(n=10)和呼气时间(n=9)。
判读性能和通气模式分类:LLM与临床医生参考标准之间的多类别汇总一致性为中等,总体精确一致率为0.61(95% CI, 0.54–0.69),未加权Cohen's κ为0.47(95% CI, 0.37–0.56),六个协调后判读类别的宏F1分数为0.39(95% CI, 0.33–0.49)。各类别性能差异显著:灵敏度和F1分数在正常模式(灵敏度0.72,F1=0.81)和限制性缺陷(灵敏度0.72,F1=0.62)中最高;阻塞性缺陷的识别可靠性较低,灵敏度仅为0.27(95% CI, 0.14–0.46),F1分数为0.39;混合性和非特异性类别因临床医生参考标准观察稀疏(均少于5例),其估计值应谨慎解读。
可重复性和反应性评估:LLM在三个独立试验间显示出中等的总体可重复性,总体Fleiss' κ为0.58。成对一致率范围为61.3%至79.3%,Cohen's κ值范围为0.49至0.71。对于支气管舒张反应评估,LLM表现出色:准确性为0.97(95% CI, 0.93–0.99),特异度为1.00(95% CI, 0.96–1.00),识别显著反应的灵敏度为0.77(95% CI, 0.50–0.92),PPV为1.00,NPV为0.97,一致性超越偶然的程度很强(Cohen's κ = 0.86)。
讨论与结论
本研究发现,通用型LLM在肺量计评估的不同组成部分表现不一。该模型在个体技术质量标准方面具有高灵敏度,在支气管舒张反应方面具有高特异度,但其在总体肺量计可接受性和多类别判读方面的性能较为有限。这些发现表明,公开可用的LLM可能在肺量计质量保证和临床决策支持中发挥辅助作用,但目前尚不足以可靠地独立判读肺功能检查。
研究结论:当前研究表明,通用型LLM(ChatGPT 5.5)在其当前发展阶段作为独立的肺量计判读工具可靠性有限。临床可接受的性能可能需要特定领域的训练、严格的外部验证以及与标准化肺功能判读算法的整合,之后才能用于常规临床实践。需要进行进一步的研究来证实这些发现。