《Cancer Innovation》:Evaluating the Performance of Covidence's Artificial Intelligence-Based Screening Function in Cancer Systematic Reviews
编辑推荐:
背景:系统综述(systematic reviews, SRs)常用于证据合成,需要进行多阶段广泛筛选,其中Stage-I标题/摘要筛选(Stage-I title/abstract screening)尤其耗时。Covidence系统综述软件(Coviden
背景:系统综述(systematic reviews, SRs)常用于证据合成,需要进行多阶段广泛筛选,其中Stage-I标题/摘要筛选(Stage-I title/abstract screening)尤其耗时。Covidence系统综述软件(Covidence systematic review software)是广泛使用的SR平台,自2022年起提供人工智能(artificial intelligence, AI)辅助的Stage-I筛选功能。然而,该功能尚未在异质性、大规模、肿瘤学聚焦的SRs中进行正式比较。
方法:研究人员选择了由加拿大安大略省循证医疗项目(Program in Evidence-Based Care, PEBC)开展的两项已完成的SR。第一项SR(Axilla-BC,N=8774)支持乳腺癌(breast cancer)临床实践指南(clinical practice guideline, CPG),第二项SR(PET-utility,N=7267)为安大略省正电子发射断层扫描(positron emission tomography, PET)指导委员会提供信息。使用每项SR,研究人员开展了一项基于模拟的研究,分别抽取500、1000和2000篇文章的子集,并分别运行30、30和10次模拟试验,以模拟Covidence的AI辅助Stage-I筛选。对于每次试验,研究人员计算了在相关文章(relevant articles)95%和100%敏感性(sensitivity)以及最终纳入文章(finally included articles)100%敏感性下的工作负荷和时间节省作为主要结局。次要结局包括在相关文章95%敏感性下漏掉的最终纳入文章。使用Wilcoxon秩和检验(Wilcoxon rank-sum tests)比较这两项SR之间的结局。
结果:当合并所有子集大小和N=1000子集时,Axilla-BC在95%敏感性下的工作负荷节省显著高于PET-utility(中位数=37.4% vs. 26.2%,W=3156.5,p=0.003;中位数=38.3% vs. 20.5%,W=641.0,p=0.005)。相应时间节省在Axilla-BC也显著更高(中位数=6.0 vs. 4.2 h,W=3089.5,p=0.008;中位数=9.6 vs. 5.1 h,W=639.0,p=0.005)。在Axilla-BC中,70次试验的20%共漏掉18篇最终纳入文章,而PET-utility仅一次试验漏掉一篇文章。
结论:在两项大型肿瘤学SRs中,Covidence的AI辅助Stage-I筛选功能表现出减少审阅者工作负荷和筛选时间的显著潜力。然而,Covidence的性能在综述之间差异显著,提示结果可能与SR特征相关,包括主题、方法学复杂性、相关性率和纳入率。仔细的人工监督仍然至关重要,以确保在证据合成中不漏掉任何可能最终纳入的研究,尤其是在细致或方法学复杂的综述中。
研究背景与问题:证据合成(evidence synthesis)是系统识别、评价和整合多来源发现以支持政策、实践和决策的过程。高质量证据合成需要明确研究问题并严谨执行系统综述(systematic review, SR)各阶段。全面文献检索可能检索到大量不相关文章,需通过筛选排除,人工筛选非常耗时。SR平均完成时间估计为67.3周,基于SR的临床实践指南(clinical practice guideline, CPG)开发约需2年。人工智能(artificial intelligence, AI)工具在证据合成中的设计和使用日益普遍,但使用报告不一致且多限于筛选任务。Covidence系统综述软件(Covidence systematic review software)是流行平台,自2022年引入AI辅助标题/摘要筛选(Stage-I筛选)功能。然而,针对癌症相关证据合成的Covidence AI性能正式评估罕见,尽管其用户群大。此前研究人员发表了在复杂乳腺癌CPG背景下评估Covidence AI辅助Stage-I筛选功能的模拟研究,显示一定工作负荷和时间节省,同时存在试验间变异和放松敏感性阈值时漏掉最终纳入文章的风险。为评估这些发现的普适性,研究人员随后将相同模拟方法应用于PEBC第二项SR,该SR支持一份6个月证据合成报告,主要评估正电子发射断层扫描(positron emission tomography, PET)在多种癌症类型中的临床效用。本研究目的为通过模拟评估比较Covidence AI辅助Stage-I筛选功能在这两项已完成癌症相关SR中产生的工作负荷和筛选时间节省,并探讨综述范围和复杂性如何影响肿瘤学SR和循证CPG中AI辅助筛选性能。
关键技术方法:样本来源为PEBC两项已完成SR:Axilla-BC(N=8774,乳腺癌腋窝管理,支持CPG)和PET-utility(N=7267,PET在多种癌症及部分非肿瘤条件中的应用,支持省级委员会报告)。研究人员从Stage-I筛选文章中随机无放回抽取500、1000、2000篇子集,分别运行30、30、10次模拟试验。每次试验前25篇由人工筛选以使AI算法开始学习,等待系统通知后,按Covidence预测相关性从高到低排序,人工依次筛选直至识别100%相关文章。计算95%和100%相关文章敏感性以及100%最终纳入文章敏感性下的工作负荷节省和时间节省,时间按每小时40篇估算;采用Wilcoxon秩和检验比较。
研究结果:
3.1 相关文章不同敏感性阈值下Axilla-BC与PET-utility的工作负荷和时间节省:在95%敏感性下,Axilla-BC中位工作负荷节省高于PET-utility,N=500为40.7% vs 31.3%(W=572.0,p=0.072),N=1000为38.3% vs 20.5%(W=641.0,p=0.005),N=2000相似16.6% vs 17.6%(W=50.5,p=1.000);合并所有子集中位37.4% vs 26.2%(W=3156.5,p=0.003)。时间节省类似:N=500为5.1 vs 4 h(p=0.072),N=1000为9.6 vs 5.1 h(p=0.005),N=2000为8.3 vs 8.8 h(p=1.000),合并为6.0 vs 4.2 h(p=0.008)。在100%敏感性相关文章下,工作负荷和时间节省差异均未达统计学显著。
3.2 最终纳入文章100%敏感性下工作负荷和时间节省:N=500和1000时,Axilla-BC中位工作负荷节省较高但不显著;N=2000时,Axilla-BC显著低于PET-utility(17.9% vs 41.8%,W=21.0,p=0.029),时间节省也显著低(8.9 vs 20.9 h,W=21.0,p=0.029)。合并所有子集无显著差异(工作负荷60.3% vs 52.8%,W=2561.0,p=0.645;时间8.9 vs 9.8 h,W=2302.0,p=0.539)。
3.3 次要结局:Axilla-BC在95%相关文章敏感性下,N=500和1000子集各漏5篇最终纳入文章;N=2000子集6次试验漏8篇;总体上14次试验漏18篇最终纳入文章。PET-utility仅1次试验(N=500)漏1篇。在100%最终纳入文章敏感性下,Axilla-BC在500、1000、2000子集中识别相关文章的中位敏感性分别为83%(56.8%–100%)、81.3%(61.4%–98.9%)、96.3%(88.1%–100%);PET-utility分别为78.6%(42.9%–100%)、71.2%(44.8%–96.6%)、83.7%(62.1%–94.8%)。
讨论总结:研究人员发现,在两项大型SR中,跨所有子集尤其N=1000子集,95%相关文章敏感性下Axilla-BC工作负荷和时间节省显著高于PET-utility。两项SR在相关性率和纳入率、疾病类型、目的和范围上差异明显。Axilla-BC相关性率约三倍,纳入率约一半;仅聚焦乳腺癌,支持5个研究问题的细致CPG,方法学复杂。PET-utility覆盖多种癌症类型及结节病、癫痫和痴呆,支持省级委员会高层报告,范围广但方法学深度较低。Axilla-BC虽节省较高,但95%敏感性下20%试验漏掉最终纳入文章,且最终纳入文章较晚识别;PET-utility仅1.5%试验漏掉,最终纳入文章识别较早。提示Covidence AI辅助筛选可能在范围广但方法学较不复杂的SR中更稳健,而在范围窄但纳入标准复杂细致的综述中需谨慎。因Covidence AI为专有黑箱,无法确定技术原因。评估95%和100%敏感性阈值体现效率与风险权衡:Axilla-BC在95%阈值漏掉文章风险较高,可能需更高阈值;PET-utility 95%阈值风险低。平行前瞻性评估两项更新CPG(1270和1734条记录)也显示95%下各漏1篇最终纳入文章,100%下工作负荷大幅减少,支持方法学较简单、问题明确的综述中AI辅助筛选可能更有效可靠。局限包括两项SR顺序执行、2000子集仅10次试验、未与其他平台比较、非肿瘤外推有限、多重比较未调整。
研究结论部分翻译:总之,Covidence的AI辅助Stage-I筛选在两项不同癌症相关系统综述中显示可显著减少审阅者工作负荷和筛选时间。然而,这些减少的幅度在综述间差异很大,漏掉最终纳入文章的程度也不同。这些发现提示Covidence AI辅助筛选功能的表现可能与SR特征相关,包括主题、方法学复杂性、相关性率和纳入率。尤其在细致或方法学复杂的肿瘤综述中,仔细的人工监督仍至关重要,以确保所有可能合格的研究被识别,因为漏掉文章可能直接影响后续合成证据的质量和适当性。虽然这些发现可能不能直接推广至非肿瘤SR或其他类型证据合成,但本研究获得的方法学见解可为其他疾病背景和综述环境下AI辅助筛选工具的未来研究提供信息。