《Ophthalmology Science》:Patterns and Predictors of Misclassifications by Large Language Models in Multimodal Glaucoma Diagnosis
编辑推荐:
目的:评估多模态大语言模型(large language models, LLMs)GPT-5 Pro和Gemini 3 Pro在青光眼诊断中误分类的模式与预测因素。
设计:回顾性横断面多模态注册分析。
参与者:来自南加利福尼亚大学(Universit
目的:评估多模态大语言模型(large language models, LLMs)GPT-5 Pro和Gemini 3 Pro在青光眼诊断中误分类的模式与预测因素。
设计:回顾性横断面多模态注册分析。
参与者:来自南加利福尼亚大学(University of Southern California, USC)临床青光眼注册数据库的131名参与者(32人贡献1只眼,99人贡献2只眼)共230只眼,年龄18岁及以上。
方法:收集多模态人口统计学、临床和诊断数据,包括视盘照片、光学相干断层扫描(optical coherence tomography, OCT)视网膜神经纤维层(retinal nerve fiber layer, RNFL)报告、杯盘比(cup-to-disc ratio, CDR)和24-2视野报告。三位经过专科培训的青光眼专家独立使用多模态数据将每只眼分类为青光眼可疑或显性青光眼,以三者多数共识诊断作为参考标准。GPT-5 Pro、Gemini 3 Pro以及两位独立的青光眼专家执行相同的诊断分类任务,并与该参考标准进行比较。在亚组中进行公平性分析。
主要结局指标:误分类,定义为与参考标准不一致。
结果:GPT-5 Pro和Gemini 3 Pro的误分类率分别为19.6%(95%置信区间[confidence interval, CI],15.0%–25.2%)和16.5%(95% CI,12.3%–21.9%),在独立青光眼专家(17.4% [95% CI,13.0%–22.8%]和10.9% [95% CI,7.5%–15.6%])的范围内。对于两个模型,误分类率随分类的Hodapp-Parrish-Anderson(HPA)疾病严重程度显著变化(p≤0.006),并且在中间五分位数中最大,包括CDR Q4(0.75–0.80)和RNFL Q2–Q3(65–83 μm)。在广义估计方程(generalized estimating equation, GEE)分析中,相对于参考五分位数(CDR Q1、RNFL Q5),中间CDR和RNFL五分位数的误分类几率更高。LLM错误模式与专家相似;Gemini 3 Pro和一位专家在较厚的RNFL范围内表现出更高的特异性,而GPT-5 Pro和另一位专家则表现出对假阳性诊断的易感性。
结论:当前一代多模态大语言模型在独立青光眼专家的范围内表现出诊断性能,误分类集中在中间结构和功能区域。LLM错误模式与在独立专家中观察到的模式相似。这种相似性表明模型失败发生在临床上可识别的情境中,而不是纯粹随机出现,支持LLM作为青光眼评估辅助工具的潜在作用。
青光眼是全球不可逆性失明的主要原因,预计到2040年将影响超过1.1亿人。早期准确诊断对防止视网膜神经节细胞丢失和不可逆视觉残疾至关重要。然而,临床诊断需整合多模态临床、结构和功能数据,结构-功能指标间的一致性不佳,尤其在早期或临界状态,且专科医生间存在显著判断差异。因此,提高诊断标准化是青光眼诊疗中的重大未满足需求。人工智能(AI)系统有望提供更标准化、可重复的诊断,但既往研究多聚焦于总体准确性等聚合指标,对模型在哪些具体临床情境中失败或偏离专家共识知之甚少。为此,研究人员开展本研究,旨在刻画多模态大语言模型(multimodal large language models, LLMs)在青光眼诊断中误分类的模式与预测因素。
研究人员利用南加利福尼亚大学(University of Southern California, USC)临床青光眼注册数据库中的230只眼(来自131名参与者,其中32人贡献1只眼、99人贡献2只眼)作为回顾性横断面多模态注册分析。参考标准为三位完成了专科培训的青光眼专家独立分类(青光眼可疑或显性青光眼)后的多数共识。GPT-5 Pro和Gemini 3 Pro与两位独立青光眼专家执行相同分类任务,并以与参考标准不一致定义为误分类。收集的数据包括视盘照片、光学相干断层扫描(optical coherence tomography, OCT)视网膜神经纤维层(retinal nerve fiber layer, RNFL)报告、杯盘比(cup-to-disc ratio, CDR)、24-2视野报告及人口学与临床指标。统计上采用广义估计方程(generalized estimating equation, GEE)估计不同疾病严重程度五分位数的误分类几率,并用LOWESS曲线可视化误差分布。
研究结果如下:
一、总体误分类率:GPT-5 Pro误分类45/230只眼(19.6%),Gemini 3 Pro误分类38/230只眼(16.5%),处于独立青光眼专家(17.4%和10.9%)的范围内。正式配对比较显示GPT-5 Pro的误分类率显著高于第二位人类专家(HG2)(+8.7%,p=0.001),其余比较无显著差异。在参考专家一致(3-0)的147例中,所有评估者的误分类率均大幅下降。
二、按Hodapp-Parrish-Anderson(HPA)疾病严重程度分层:两个LLM在青光眼可疑和轻度青光眼组中误分类率最高(GPT-5 Pro为25.0%,Gemini 3 Pro在轻度组为26.7%),在中重度青光眼组中最低(均为2.4%),差异具有统计学意义(p≤0.006)。
三、按CDR五分位数分层:GPT-5 Pro在Q4(0.75–0.80)误分类率最高(27.3%),在Q5(>0.80)最低(2.3%),差异显著(p=0.02)。Gemini 3 Pro的趋势相似但未达显著(p=0.08)。GEE分析显示GPT-5 Pro仅在Q5较Q1显著降低(OR=0.11)。
四、按RNFL厚度五分位数分层:两个LLM均在Q3(76–83 μm)误分类率最高(GPT-5 Pro 33.3%,Gemini 3 Pro 22.2%),在最薄(≤65 μm)和最厚(>90 μm)组最低。Gemini 3 Pro在Q2、Q3、Q4较Q5的误分类几率显著升高(OR分别为7.44、5.61、5.69),GPT-5 Pro仅有Q3升高的趋势(OR=2.74)。
五、按平均偏差(MD)五分位数分层:两个LLM的误分类率在各MD五分位数间无显著差异(p=0.75和p=0.053),GEE未发现显著几率增加。
六、与人类青光眼专家的比较:LOWESS曲线显示,LLM的误差分布与人类专家相似,误分类集中在临床模糊的中间范围(如RNFL 76–83 μm、CDR 0.75–0.80、MD较轻负值)。Gemini 3 Pro和HG1在较厚RNFL范围内特异性较高,而GPT-5 Pro和HG2则更容易出现假阳性诊断。
七、共同错误的人工审查:两个LLM均与参考标准不一致的25例中,14例为假阳性,11例为假阴性。假阳性多由孤立的OCT RNFL异常驱动,缺乏视盘照片或视野的佐证;假阴性则存在局灶性结构损害(如RNFL楔形缺损、盘沿切迹),但视野多为正常或不具特征性。
讨论部分指出,LLM误分类集中在临床模糊区域,与人类医生的判断不确定性一致。两个LLM呈现出不同的诊断阈值,与两位独立专家的差异平行,提示这些错误并非随机算法行为,而是出现在临床上可识别的情境中。然而,表现最佳的HG2仍优于LLM,表明校准良好的人类专家在综合多模态数据方面仍具优势。LLM倾向于过度解读孤立的OCT异常,而对局灶性结构损害识别不足。人口统计学亚组分析未发现显著差异,但受样本量限制,不能据此推断公平性。
研究结论:当前一代多模态大语言模型展示出与青光眼专家范围内相当的、对疾病阶段敏感的诊断性能。误分类集中在中间结构和功能状态。GPT-5 Pro和Gemini 3 Pro之间不同的错误轮廓与在独立人类专家中观察到的诊断阈值自然变异相平行,尽管这些模式并不建立类似推理过程。总体而言,这些发现表明LLM诊断错误发生在临床上可识别的情境中,而非随机失败。本研究刻画了多模态疾病特征与误分类之间的关联,将评估拓展到聚合性能指标之外,并为未来AI辅助青光眼评估的研究提供信息。