《Journal of Otolaryngology - Head & Neck Surgery》:Artificial Intelligence Decision-Making in Multidisciplinary Tumor Boards for Head and Neck Cancer: A Systematic Review
编辑推荐:
重要性:人工智能(AI)正越来越多地整合到临床决策中,包括在病理学、影像组学以及头颈部(ENT)癌多学科肿瘤委员会(MDT)中的应用。然而,AI工具在MDT环境中的当前范围与性能仍不明确。
目的:系统评价现有文献中关于AI模型在ENT癌MDT决策中的使用与
重要性:人工智能(AI)正越来越多地整合到临床决策中,包括在病理学、影像组学以及头颈部(ENT)癌多学科肿瘤委员会(MDT)中的应用。然而,AI工具在MDT环境中的当前范围与性能仍不明确。
目的:系统评价现有文献中关于AI模型在ENT癌MDT决策中的使用与性能。
设计/设置:系统评价。
研究对象:评估AI在头颈部(ENT)癌MDT中应用的研究。
干预:对Cochrane、Embase、Medline、PubMed和Scopus数据库自建库至2025年3月4日进行系统检索。纳入研究无语言或日期限制。该综述按照PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)指南进行。
主要结局指标:AI在4个关键领域中的性能:治疗方案选择、临床推荐、解释能力和总结能力。
结果:共筛选791条记录,37篇进入全文审查,7篇符合纳入标准。评估了6种AI模型,其中ChatGPT-4出现在71%的纳入研究中。在各评估领域,ChatGPT-4相比其他模型表现出更优性能,尤其在治疗选择、推荐质量和解释能力方面。
结论:当前关于AI整合到ENT癌MDT决策中的证据基础仍有限且异质性较高。尽管ChatGPT-4在多个领域显示出有前景的性能,但临床准确性、一致性和透明度方面仍存在担忧。需要进一步研究以优化AI可靠性并验证其临床效用。
相关性:阐明AI在MDT环境中的能力与局限,对于确保其安全整合到肿瘤学决策中,并支持未来开发可靠、透明的AI辅助临床工具至关重要。
图形摘要:这是摘要的可视化表示。
关键信息:
• 大语言模型(LLMs)显示出支持头颈癌多学科肿瘤委员会(MDT)决策的潜力。
• 当前模型具有重要局限性,尤其是在复杂或二线治疗场景中。
• 人类监督仍然至关重要,以确保安全且临床适当的使用。
Introduction 引言
人工智能(AI)正快速融入日常生活,也进入肿瘤学领域。头颈癌治疗决策需要整合大量临床数据、基因组信息和不断演变的治疗模式,多学科肿瘤委员会(MDT)面临更详细病例和更多晚期治疗选择。尽管美国年龄标化癌症死亡率在2000年至2020年间由每10万人199例降至147例,但为每位患者选择最合适治疗仍具挑战。AI被探索作为MDT中的决策支持工具,以提高效率、一致性和医疗质量。研究人员开展系统评价评估AI在MDT决策中的作用,据其所知,此前没有系统评价专门聚焦大语言模型(LLM)在头颈癌MDT治疗决策中的使用。虽然综述聚焦头颈癌,但结果对其他肿瘤亚专科具有启示意义。
Materials and Methods 材料与方法
本系统评价按照系统评价和荟萃分析优先报告条目(PRISMA)进行。
Search Strategy 检索策略
检索Cochrane、EMBASE、MEDLINE、PubMed和Scopus数据库,时间范围为2010年至2025年3月4日。检索关键词涉及“head and neck cancer” AND “artificial intelligence” AND “multidisciplinary committee”。对纳入文章参考文献进行手工筛选以捕获额外研究。Covidence用于研究管理并自动去重;排除灰色文献、预印本和会议摘要,以聚焦同行评议证据。
Selection Criteria 选择标准
纳入研究须涉及AI与多学科委员会决策相关,全部或部分相关。仅关注诊断或影像的文章被排除。比较数据必须包含头颈癌特定参数。合格研究还需报告至少以下之一:头颈肿瘤亚部位、样本量(评估问题或病例数)、模型是否预提示或提供上下文、是否将性能与MDT推荐、NCCN(National Comprehensive Cancer Network)指南或其他标准比较。两名研究者初筛标题和摘要,检索参考文献列表,独立选择,分歧通过讨论或第三方解决。因MDT特定治疗决策范围窄,此方法限制纳入研究数量但增加临床相关性。
Data Synthesis 数据合成
数据合成将不同报告结果(如Cohen’s κ、百分比、分数)转换为统一指标:百分比。百分比解释为AI推荐与MDT或指南标准之间的一致性率。转换基于Cohen’s κ解释量表;但统一指标可能因丢失粒度而引入偏倚。
Quality Assessment 质量评估
使用国家心肺血液研究所研究质量评估工具(NHI-SQAT)评估。两名作者重复评分,分歧通过共识解决。符合至少80%、50%-79%、低于50%条目分别评为good、fair、poor。纳入研究中5项good、2项fair、0项poor。
Results 结果
电子检索识别791篇论文,7篇符合纳入标准。1篇包含定量结果,5篇包含混合结果,1篇包含定性结果。所选文章评估LLM,包括ChatGPT-3.5、ChatGPT-4、ChatGPT-4o、Claude 3、Gemini以及本地LLM,在模拟任务或真实临床场景中的性能。5项研究评估ChatGPT-4在多学科委员会决策中的表现。场景数量每项研究10至226例。LLM性能按4类评估:治疗方案选择、临床推荐、解释技能和总结能力。为便于解释,所有定量结果转换为百分比。
Treatment Selection Accuracy 治疗选择准确性
治疗选择准确性在各模型间差异很大。ChatGPT-4o表现最高,相关研究中平均准确性78.5%;ChatGPT-4.0为74.2%,基于5项纳入研究。Claude 3 Opus和Gemini Advanced中等,分别68%和65%;ChatGPT-3.5与Gemini相似,为65%。本地LLM如Llama 3在区分治愈与姑息意图方面较强(92% vs ChatGPT-4o 84%),但一线治疗选择较差,比ChatGPT-4o低8%-24%。ChatGPT-4.0和4o一线治疗决策与专家MDT推荐总体一致,但二线决策出现分歧,ChatGPT-4.0仅中等一致,ChatGPT-4o优于其前代。远处转移病例中两模型治疗线大多一致,仅1例ChatGPT-4o推荐临床试验而ChatGPT-4.0推荐姑息治疗。Gemini Advanced在不同肿瘤位置表现最一致,尤其口咽癌;ChatGPT-4.0对口咽和唾液腺肿瘤较强,鼻咽癌一致性较低。
Clinical Recommendations 临床推荐
临床推荐表现类似。ChatGPT-4o总体准确性最高(82.5%),优于ChatGPT-4.0(77.4%)和ChatGPT-3.5(70%)。Claude 3 Opus为70%,与ChatGPT-3.5相当;Gemini Advanced为68%。ChatGPT-4.0可产生临床适当治疗建议,在推理和总体推荐质量上略优于ChatGPT-3.5,但出现反复错误,如不适当化疗或颈清扫推荐。ChatGPT-4o推荐几乎均被判临床合理,但一项研究观察其与肿瘤委员会决策直接比较时倾向姑息而非治愈。Claude 3 Opus偶尔产生优于ChatGPT-4.0的推荐,如在后者未建议时提出放化疗或诱导化疗,但不按程序性死亡配体1(PD-L1)或综合阳性评分(CPS)状态推荐免疫治疗,引发对指南意识的担忧。本地LLM虽有领域优势,但在与MDT决策直接比较时通常劣于ChatGPT-3.5和ChatGPT-4.0。
Explanation Skills 解释技能
解释质量以ChatGPT-4o最高(88%),ChatGPT-4.0为75%,优于ChatGPT-3.5(70%)和Gemini(65%)。Claude 3 Opus为78%,至少在1项研究中超过ChatGPT-4.0,尤其在情境特异性临床推理方面。ChatGPT-4.0展示较强病例推理,常将治疗选择置于MDT过程背景中,并使用近期临床研究及参考文献支持解释,而Claude 3 Opus缺乏该特征。
Summarization Ability 总结能力
总结能力同样以ChatGPT-4o最高(83%)和ChatGPT-4.0(77.6%)为高。Claude 3 Opus和ChatGPT-3.5相当(77%和75%),Gemini较低(70%)。直接比较中,ChatGPT-4.0摘要比Claude 3 Opus更简洁且临床一致,但后者在某些病例解释质量上优于4.0。
Other Performance Characteristics 其他性能特征
ChatGPT-4o生成回答比ChatGPT-4.0快48.5%。两模型偏离既定临床指南均罕见。安全相关局限包括:ChatGPT-4.0反复出现不适当化疗和颈清扫推荐;ChatGPT-3.5在一项研究中100%推荐手术,包括MDT倾向放化疗的晚期肿瘤伴声门上或气管浸润。ChatGPT-3.5能区分手术方式并偶尔提供细致操作建议,但常避免承诺单一模式,提出多个治疗选择,导致建议比MDT更宽泛,降低临床特异性。未发现ChatGPT-4.0或4o在各肿瘤亚部位有明确领域专长。Gemini Advanced在不同肿瘤位置一致性最好,ChatGPT-4.0表现可变。
Discussion 讨论
LLM在临床肿瘤决策中支持MDT显示前景,但仍有限制,取决于模型版本和临床情境。总体趋势是较新或专用版本如ChatGPT-4.0和ChatGPT-4o优于旧模型或竞争LLM。ChatGPT-4.0研究最广泛,在各评估方面表现合理(治疗选择74.2%、临床推荐77.4%、解释技能75%、总结技能77.6%),显示结构化临床推理和较可靠输出能力。其一线治疗决策尤强,与MDT推荐几乎完美一致,可能反映对标准指南和常见临床场景的有效训练。二线治疗选择明显下降,可能反映对非典型病例或数据稀缺的复杂场景暴露有限。化疗和姑息治疗的不适当使用引发对临床数据解释的担忧,强调持续人类监督。ChatGPT-4o优于前代全部4类(治疗选择78.5% vs 74.2%,临床推荐82.5% vs 77.4%,解释88% vs 75%,总结83% vs 77.6%),生成回答快48.5%;但差异无统计学显著性(P > .05)。二线推荐改善。倾向更频繁推荐姑息可能反映内置谨慎机制。模型代际差异也可能由训练数据集、安全对齐策略和语料语言组成解释。ChatGPT-4o更能优先排序治疗选项并论证选择,在临床背景中更可接受。ChatGPT-3.5谨慎多选项,但缺乏优先级判断,有时过度推荐治疗,偏离MDT标准。Claude 3 Opus解释和总结可接受,某些临床推荐优于ChatGPT-4.0,但缺乏来源引用限制透明度和可追溯性,且未推荐免疫治疗提示分子数据解读不足。Gemini Advanced评分最低,符合其在复杂医疗任务中成熟度有限的文献,但在不同肿瘤位置结果一致。本地LLM如Llama 3和Mistral 7B更好区分治愈与姑息,但一线推荐不准确且与MDT决策一致性低,可能缺乏特定临床情境微调。
Clinical Potential With Strict Supervision 严格监督下的临床潜力
ChatGPT-4o和ChatGPT-4.0结果表明LLM性能可达到作为MDT决策支持工具的水平,但不能自主用于临床。二线治疗持续错误强调人类监督重要性。这些工具应被视为认知助手,用于生成治疗假设或促进MDT讨论,也可支持无法获得MDT的医生,在资源有限环境中提供决策支持。早期实施最现实的是窄支持功能,如证据总结、指南澄清和生成结构化治疗选项,而非最终治疗决策。
The Need of Transparency, Traceability, and Explanation 透明度、可追溯性和解释需求
模型用相关最新来源证明推荐对临床验证至关重要。ChatGPT-4.0和4o通过一致引用当前指南优于其他模型,其简洁结构化摘要可支持临床采用。数据保密仍是临床AI应用主要挑战,治疗决策涉及敏感健康信息且缺乏明确监管。本地LLM在安全机构基础设施内改善数据控制,但性能常低于先进全球模型。可解释性有限进一步限制LLM在MDT中的采用,MDT需要透明、符合指南的理由。LLM生成有说服力的解释,但常缺乏可验证证据或可审计决策路径。AI辅助决策还引发患者伤害时责任和liability的未解决医疗法律问题。
The Impact of the Clinical Context in Performance 临床情境对性能的影响
性能因病例复杂度显著变化。一线治疗掌握较好,二线治疗情境导致更多错误、分歧或不合理推荐。这表明当前模型优化典型场景,不适应复杂病例,需考虑专用版本或微调。LLM性能对提示设计、结构和完整性高度敏感。措辞或临床细节顺序的小变化可产生显著不同输出,引入变异并削弱可重复性。开发肿瘤学标准化提示框架,类似结构化放射学或病理学报告,可能改善可靠性。
The Strategic Role of LLMs in Local Contexts 本地情境中LLM的战略作用
本地模型如Llama 3和Mistral 7B与MDT一致性较低,但其离线运行和避免数据传输到外部服务器的能力对数据保护是优势,尤其隐私法规严格的公立医院。其区分治愈与姑息意图的强性能也凸显在伦理敏感决策中的相关性。通过本地情境化数据训练可改善与区域实践的一致性。多数评估LLM主要基于英语或美国中心数据训练,引发推荐在不同资源、规范和指南卫生系统中的通用性担忧。本地LLM虽目前准确性较低,但适当微调后可能更好反映区域实践。实现AI支持临床决策公平需要有意区域校准和验证。
Heterogeneity and Small Sample Size 异质性和小样本量
纳入研究仅7/791,反映领域新兴和聚焦MDT治疗决策的狭窄性,限制结果通用性。研究设计、临床场景、提示策略、比较标准(如MDT推荐 vs NCCN指南)和结局指标显著异质,复杂跨研究比较并可能解释性能差异。需要标准化方法,包括统一提示、结局定义和与既定临床指南对齐。
Publication Bias 发表偏倚
AI辅助临床决策快速演变中,发表偏倚是重要问题。有利或有前景发现可能过多代表,阴性或不确定研究较少发表,可能夸大模型性能并掩盖弱点。认识该风险对解释当前证据至关重要,需系统报告中性或阴性结果。
Risk of Overreliance and Automation Bias 过度依赖和自动化偏倚风险
将LLM整合入MDT工作流程引发自动化偏倚担忧,临床医生可能过度重视AI建议,尤其在时间压力或模糊病例中。过度依赖AI输出可能微妙改变MDT决策动态,减少某些专科贡献或改变讨论模式。应纳入强制人工验证、不确定性标记和结构化异议机制等保障措施。
Limitations 局限性
传统PRISMA方法虽严谨广泛接受,但可能无法完全捕捉AI研究速度与波动。文献识别、筛选和数据提取等标准步骤为随时间稳定的干预和暴露设计。LLM进化快于出版周期,系统评价合成证据可能滞后于当前技术能力。这种时间错配是合成AI研究的根本方法学挑战,强调迭代或动态系统评价的重要性。
Conclusion 结论
头颈癌管理越来越复杂和精确。医生努力为每位个体提供最有效治疗,但治疗选择增多使决策更具挑战。本综述分析多项研究中多种AI工具在MDT中的效用,尤其ENT肿瘤。评估LLM包括ChatGPT-3.5、ChatGPT-4.0、ChatGPT-4o、Claude 3、Gemini和本地LLM如Llama 3和Mistral 7B。总体上,ChatGPT-4o在与专家MDT推荐比较时治疗选择和临床推理最高。然而,研究指出来源透明度、二线治疗推荐偶发不准和处理复杂临床细微差等限制。虽然AI无疑将帮助决策,人类医生在肿瘤委员会中仍不可或缺,以确保安全、伦理和情境敏感照护。本综述关键限制是缺乏高质量、领域特定的AI在MDT中作用研究;AI技术快速演变意味着当前发现可能迅速过时。随着AI改进,其作为支持工具而非替代,可增强决策、减少认知负担并最终改善患者结局。