生成式AI在系统评价与Meta分析中的应用评估指南:推动循证医学方法学革新
《Research Synthesis Methods》:Guidance for manuscript submissions testing the use?of?generative AI for systematic review and?meta-analysis
【字体:
大
中
小
】
时间:2025年12月12日
来源:Research Synthesis Methods 6.1
编辑推荐:
本刊推荐:为解决生成式AI(GenAI)在系统评价与Meta分析(SRMA)应用中缺乏标准化评估框架的问题,研究人员开展了针对GenAI方法学验证指南的制定研究。该指南从研究设计、评估指标、验证流程、可重复性及透明度五个维度提出具体要求,为规范AI在证据合成领域的应用提供方法论支撑,对推动循证医学研究方法创新具有重要意义。
随着人工智能技术的迅猛发展,机器学习(ML)和生成式人工智能(GenAI)正在为循证医学研究带来革命性变革。系统评价(Systematic Review)和Meta分析(Meta-Analysis, SRMA)作为证据合成的金标准,其过程却长期受限于人力密集、耗时冗长等挑战。从海量文献检索、标题摘要筛选到全文评估和数据提取,每个环节都迫切需要更高效、更精准的自动化工具辅助。然而,当研究者们尝试将新兴的GenAI模型应用于SRMA关键环节时,却面临着一系列独特的方法学难题:模型输出会因提示词(prompt)设计、版本差异甚至随机因素而产生波动,这使得评估工作变得异常复杂。当前缺乏专门针对GenAI在SRMA中应用效果的标准化评估框架,导致不同研究间的结果难以比较和整合,严重制约了该技术在循证决策中的可靠应用。
正是在这样的背景下,期刊发表了由Oluwaseun Farotimi、Adam Dunn、Caspar J. Van Lissa、Joshua Richard Polanin、Dimitris Mavridis和Terri D. Pigott六位专家共同撰写的指南性论文。该研究旨在为评估ML和GenAI在SRMA中应用效果的稿件提供具体投稿要求,确保相关研究能够遵循严谨的方法学标准,促进AI技术在证据合成领域的透明、可靠发展。这项工作积极响应了"负责任证据合成人工智能"(Responsible AI in Evidence Synthesis)和"数字证据合成工具"(Digital Evidence Synthesis Tools)等国际倡议,为规范该新兴领域的研究实践提供了及时的方法学支撑。
研究人员主要采用了指南制定和共识构建的方法论框架。通过系统梳理现有相关指南(如RAISE指南)的核心原则,结合SRMA流程的特点和GenAI技术的特殊性,研究团队从五个关键维度构建了评估标准体系。特别注重区分传统ML模型与GenAI模型在评估要求上的差异,重点强调了提示词工程、输出变异性和验证策略等GenAI特有的方法学考量。
研究设计与方法方面,指南要求作者详细描述七个核心要素:抽样方法学与数据集特征(明确报告总研究数和子集数)、考察变量、预处理方法、明确定义的研究问题、异质性考量、提示词开发测试过程以及方法学合理性论证。这些要求确保了研究设计的严谨性和可重复性。
在评估标准部分,指南强调必须遵循严格的实验设计原则,采用SRMA任务相关的成熟性能指标。例如,针对工作量削减(workload reduction)目标,应报告工作节省量(work saved over human screening)、需阅读篇数(number needed to read)、精确度(precision)、准确度(accuracy)、特异度(specificity)和灵敏度(sensitivity)等指标。同时要求与传统人工方法和现有自动化工具进行基准比较,客观呈现新方法的优势与局限。
验证环节的规范尤为关键,指南要求进行外部验证以证明工具的普适性,特别强调要披露训练/测试数据交叉污染的风险,并制定详细的质量保证程序,包括监督方法(如人在回路human-in-the-loop)、审查范围、错误处理和优化流程等具体要求。
为确保研究结果的可重复性,指南规定了随机种子(random seed)记录、代码数据公开、计算环境详述等具体措施。要求所有数据集(训练集、测试集和验证集)通过Zenodo、OSF、DataVerse等规范平台公开,并提供完整的可执行分析代码。
在透明度方面,指南要求作者坦诚披露模型局限性、不确定性、潜在偏差及其缓解策略,所有性能声明都需有实证支持,并完整公开财务和非财务利益关系。
这项研究的重要意义在于,它首次为评估GenAI在SRMA中应用效果的研究建立了系统化、可操作的质量标准框架。通过规范研究方法、评估指标和报告标准,该指南将显著提升相关研究的科学性、透明性和可比性,为循证医学研究方法的创新发展奠定坚实基础。随着AI技术不断融入科研实践,这类方法学指南的制定将有助于确保技术应用的严谨性和可靠性,最终推动证据合成方法向更高效、更精准的方向演进。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号