基于EPOS 2020的ChatGPT与DeepSeek在慢性鼻窦炎可切除性分类中的性能比较:一项提示策略研究

《World Journal of Otorhinolaryngology - Head and Neck Surgery》:ChatGPT Versus DeepSeek in Resectability Categorization of Chronic Rhinosinusitis: A Comparison Based on EPOS 2020

【字体: 大 中 小 】 时间:2026年10月09日 来源:World Journal of Otorhinolaryngology - Head and Neck Surgery 1.4

编辑推荐:

  目的:根据欧洲鼻窦炎和鼻息肉立场文件2020(EPOS 2020)指南,采用多种提示策略评估并比较ChatGPT-5.5(2026)与DeepSeek-V3(2026)在慢性鼻窦炎(CRS)可切除性分类中的表现。 方法:本回顾性研究回顾了150例慢性鼻窦炎病

  
目的:根据欧洲鼻窦炎和鼻息肉立场文件2020(EPOS 2020)指南,采用多种提示策略评估并比较ChatGPT-5.5(2026)与DeepSeek-V3(2026)在慢性鼻窦炎(CRS)可切除性分类中的表现。

方法:本回顾性研究回顾了150例慢性鼻窦炎病例,三名鼻科学专家根据EPOS 2020标准对可切除性进行分类。研究人员采用默认知识、上下文内和思维链(CoT)提示对GPT-5.5和DeepSeek-V3进行评估,评估指标包括准确率、敏感性、特异性、阳性预测值(PPV)、阴性预测值(NPV)和F1分数。根据鼻息肉状态和手术适宜性进行了预设亚组分析,以评估提示策略效应的一致性。研究人员比较了耳鼻喉科住院医师在有无人工智能辅助下的表现。统计分析包括卡方检验或Fisher精确检验、Student t检验或Mann–Whitney U检验以及方差分析(ANOVA)。

结果:在默认知识提示(81.3%对72.7%,p<0.05)和上下文内提示(86.7%对78.0%,p<0.01)下,DeepSeek-V3的准确率均高于GPT-5.5。值得注意的是,CoT提示显著提升了两个模型的性能,二者达到相当的峰值准确率(95.3%对96.0%,p=1.00)。亚组分析显示,GPT-5.5各亚组中的效应具有一致性,而DeepSeek-V3则表现出异质性反应模式。此外,接受CoT辅助的耳鼻喉科住院医师的准确率显著高于未接受辅助的医师(GPT-5.5:97.3%对72.8%,p<0.001;DeepSeek-V3:98.0%对72.8%,p<0.001),同时完成时间缩短了43.0%(95%置信区间:41.5%–44.4%;p<0.001)。

结论:采用CoT提示策略时,ChatGPT-5.5和DeepSeek-V3在可切除性分类中取得了相似的高准确率。尽管人工智能生成的报告提高了外科医生的准确性和效率,但在广泛临床实施之前,这些模型作为支持工具仍需进一步验证。
**论文解读:基于EPOS 2020的ChatGPT-5.5与DeepSeek-V3在慢性鼻窦炎可切除性分类中的比较研究**

**研究背景与目的**

慢性鼻窦炎(chronic rhinosinusitis, CRS)是耳鼻咽喉科最常见的慢性鼻病之一,手术切除是其既定治疗手段之一。欧洲鼻窦炎和鼻息肉立场文件2020(European Position Paper on Rhinosinusitis and Nasal Polyps 2020, EPOS 2020)在确定功能性内镜鼻窦手术(functional endoscopic sinus surgery, FESS)与保守治疗的适应证中具有关键作用。然而,EPOS 2020标准涉及多维度临床信息的综合判断,且要求医师具备较高的专业知识门槛和较长的培训周期,导致在真实临床环境中快速、准确评估手术指征面临挑战。不同医师在应用这些标准时存在显著差异。近年来,大型语言模型(large language models, LLMs)在医学问答、临床决策支持和非结构化电子病历信息提取方面展现出巨大潜力。ChatGPT作为专有、广泛采用的LLM,在执业考试、临床指南解读和决策支持任务中已显示优势,但其无法在医疗机构内部部署,难以符合严格的隐私法规。DeepSeek-V3作为开源“推理模型”,通过模拟人类逻辑推理处理复杂任务,具备透明性和可本地化部署的优势。然而,LLM在真实临床条件下生成治疗建议的性能尚未得到充分验证,且多步推理的弱点仍制约其准确性和临床实用性。尽管思维链(chain-of-thought, CoT)提示已被证实可增强医学评估中的多步推理能力,但其在高级耳鼻咽喉科应用中的有效性尚未确立。本研究旨在评估并比较ChatGPT-5.5(2026)和DeepSeek-V3(2026)在不同提示策略下依据EPOS 2020标准进行CRS可切除性分类的性能。据研究人员所知,这是首个直接比较这两种模型在真实CRS病例中依据EPOS 2020制定治疗决策的研究。

**研究设计与方法概述**

这是一项回顾性研究,经中山大学附属第三医院医学伦理委员会批准(批准号PJ-II2025-371-01)。研究纳入2025年1月1日至2026年5月1日期间在该院耳鼻咽喉头颈外科入院、根据EPOS 2020诊断的CRS患者,排除标准包括治疗史不完整、缺乏Lund–Mackay(LM)CT评分、保守治疗后无SNOT-22评分和CT图像、既往鼻窦手术史以及真菌性鼻窦炎、囊性纤维化、内翻性乳头状瘤等其他鼻病。最终纳入150例病例。研究人员(J.-H.L.和R.-R.G.)使用标准化表格独立提取患者年龄、性别、诊断、鼻息肉状态、症状、治疗史、SNOT-22评分、LM评分、保守治疗后窦口鼻道复合体评分和嗅觉评分及合并症等信息,构建重建病历。两位资深鼻科专家(S.W.和Z.-H.S.,经验分别为18年和19年)依据EPOS 2020标准独立将每例患者分类为“可切除”或“适合保守治疗”,意见分歧通过共识或第三位专家(Q.-T.Y.,15年经验)裁决解决。专家间一致性达98.0%,Cohen κ=0.96。随后将重建病历分别提交给ChatGPT-5.5和DeepSeek-V3,采用三种提示策略:默认知识(依赖模型预训练知识)、上下文内知识(在提示中明确提供EPOS 2020标准)和CoT(将标准分解为逐步推理步骤,先根据鼻息肉状态分型,再评估LM评分、治疗史和症状评分)。每种策略应用于两个模型,共形成六种“可切除性模型”。评估指标包括准确率、敏感性、特异性、PPV、NPV和F1分数,并据鼻息肉状态和手术适宜性进行亚组分析。此外,九名有执照的耳鼻喉科住院医师参与评估,其中六名在AI辅助下分类全部150例(每种AI组合通过随机算法分配),三名仅依靠病历进行独立分类。记录每位住院医师的分类完成时间,AI辅助组还报告对AI生成内容的满意度(5点Likert评分)。统计分析采用卡方或Fisher精确检验、Student t或Mann–Whitney U检验及ANOVA,多重比较采用Bonferroni校正(p<0.025为显著),其他比较以p<0.05为阈值。

**主要研究结果**

**GPT与DeepSeek的性能比较**

在默认知识提示下,DeepSeek-V3的准确率显著高于ChatGPT-5.5(81.3%对72.7%,p=0.03),优势主要集中在无鼻息肉患者(79.2%对64.9%,p=0.03)和需手术亚组(敏感性89.2%对67.7%,p<0.001)。在上下文内知识提示下,DeepSeek-V3仍显著优于ChatGPT-5.5(86.7%对78.0%,p<0.01),特别是在有鼻息肉亚组(93.2%对83.6%,p=0.04)和手术亚组(敏感性75.4%对63.1%,p=0.04)。然而,在CoT提示下,两模型准确率相近且均达到高水平(GPT-5.5:96.0%;DeepSeek-V3:95.3%,p=1.000),敏感性和特异性高度一致,亚组间差异不再显著。这表明CoT提示大幅减少了分类错误并消除了模型间的性能差异。

**提示策略的效果**

对于GPT-5.5,CoT提示的准确率显著高于默认知识提示(96.0%对72.7%,p<0.001),而上下文内提示与默认知识无显著差异(78.0%对72.7%,p=0.22)。亚组分析显示,CoT在CRSsNP亚组(92.2%对64.9%)、CRSwNP亚组(100.0%对80.8%)、保守管理亚组(100.0%对76.5%)和手术亚组(90.8%对67.7%)均显著提升准确率,效应模式一致。对于DeepSeek-V3,CoT同样显著优于默认知识(95.3%对81.3%,p<0.001),但亚组效应存在异质性:CoT仅在CRSwNP亚组(100.0%对83.6%,p<0.001)和保守管理亚组(100.0%对75.3%,p<0.001)显著改善准确性,在CRSsNP亚组差异未达到统计学意义(90.9%对79.2%,p=0.05),在手术亚组则无额外改善(89.2%对89.2%,p=1.00)。上下文内提示在保守管理亚组有显著提升(95.3%对75.3%,p<0.001),但在手术亚组反而显著降低准确率(75.4%对89.2%,p=0.01)。输出稳定性方面,基线测试与1个月后重复测试的比较显示,默认知识提示下GPT-5.5的κ=0.70(95%CI: 0.45–0.71),DeepSeek-V3为κ=0.58(95%CI: 0.54–0.78);上下文内提示下两者分别为κ=0.67和κ=0.65;CoT提示下两者分别提升至κ=0.89和κ=0.86,均接近完美一致性。仅采用CoT提示的GPT-5.5和DeepSeek-V3超过了耳鼻喉科外科医生设定的90%准确率阈值。

**住院医师应用**

未受AI辅助的住院医师准确率为72.8%。在GPT-5.5辅助下,默认知识、上下文内知识和CoT提示对应的住院医师准确率分别为75.3%、78.0%和97.3%;DeepSeek-V3辅助下对应分别为77.3%、86.7%和98.0%。CoT辅助显著优于无辅助状态(GPT-5.5: 97.3%对72.8%,p<0.001;DeepSeek-V3: 98.0%对72.8%,p<0.001)。住院医师对GPT-5.5和DeepSeek-V3的响应无明显偏好(p=0.12),但对CoT提示的满意度显著高于其他策略(χ2=130.05,p<0.001)。在效率方面,CoT辅助下住院医师完成分类所需时间仅为无辅助时的57%,缩短了43.0%(95%CI: 0.41–0.44;p<0.001)。

**讨论与结论总结**

本研究发现,在EPOS 2020指导的CRS可切除性分类中,默认知识和上下文内知识提示下DeepSeek-V3优于GPT-5.5,但CoT提示使两者达到同等高准确率并增强输出稳定性。GPT-5.5在无鼻息肉和手术亚组中表现欠佳,可能因这些情形需要整合多项临床标准而无明显表型指标;提供指南信息(上下文内提示)并未确保按正确决策顺序整合各标准。CoT通过引导模型进行系统、一致的逐步推理,显著提升了性能,缩小了模型间差异,这与先前关于CoT增强LLM推理能力的研究一致。输出稳定性分析显示GPT-5.5在默认知识下更稳定,但CoT使两模型均接近完美一致性,提示结构化推理可减少随机波动。

住院医师研究证实,CoT辅助的AI生成报告显著提高了分类准确性并缩短了完成时间,住院医师也明确偏好CoT的输出,这可能归因于其结构化推理过程和对关键临床信息的简洁提取。鉴于准确性超过预设的90%阈值,该方法具有临床实施潜力,但需要进一步前瞻性验证。同时,在非CoT条件下两模型存在较高错误率,且错误分布不重叠,提示在临床高风险决策中不能替代专家判断。研究人员强调,即便经过进一步训练和验证,这些模型也仅应作为医师监督下的辅助工具。由于公共AI平台存在患者隐私和数据安全顾虑,开源模型DeepSeek-V3具备可本地化部署的优势,未来有望在保密环境下利用CoT快速处理新病历,辅助住院医师初步分类,但其实际临床可行性和深度本地化仍需实证评估。研究局限性包括:CoT策略尚需更多临床验证;评估仅依据文本信息,未整合内镜或CT影像等多模态数据;云模型存在固有数据安全挑战,未来应优先在院内网络本地部署开源权重模型。结论指出,GPT-5.5和DeepSeek-V3在CoT提示下展现了依据EPOS 2020对CRS进行可切除性分类的显著潜力,可提高准确性和效率,但目前仍需作为受监督的决策支持工具使用,需进一步前瞻性研究验证其泛化性、安全性和实用性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号