
-
生物通官微
陪你抓住生命科技
跳动的脉搏
一种可用于系统评价中模糊全文筛选的可审计流程:整合对比语义突出显示与大型语言模型(LLM)的判断能力
《ARTIFICIAL INTELLIGENCE REVIEW》:An auditable pipeline for fuzzy full-text screening in systematic reviews: integrating contrastive semantic highlighting and LLM judgment
【字体: 大 中 小 】 时间:2026年05月27日 来源:ARTIFICIAL INTELLIGENCE REVIEW 13.9
编辑推荐:
摘要全文筛选是系统评价(SRs)的主要瓶颈,尤其是在非传染性疾病(NCDs)的人群健康建模等领域,其中关键的资格信息分散在冗长且异构的全文中。在这项方法学研究中,我们引入了一种可扩展且可审计的流程,将纳入和排除过程重新定义为模糊决策过程。我们在人群健康建模共识报告网络(POPCO
全文筛选是系统评价(SRs)的主要瓶颈,尤其是在非传染性疾病(NCDs)的人群健康建模等领域,其中关键的资格信息分散在冗长且异构的全文中。在这项方法学研究中,我们引入了一种可扩展且可审计的流程,将纳入和排除过程重新定义为模糊决策过程。我们在人群健康建模共识报告网络(POPCORN)框架内评估了这种方法,并将其与统计方法和清晰基线进行了对比。文章被分割成重叠的片段,并嵌入了一个针对特定领域的模型;对于每个标准(人群、干预措施、结果、研究方法),我们计算了对比相似度(纳入-排除余弦值)和“模糊度阈值”,Mamdani模糊控制器将这些值映射到多标签分类设置中的分级纳入程度。大型语言模型(LLM)对这些高亮片段进行三级标签、置信度评分和基于标准的理由判断;当证据不足时,系统会减弱模糊成员资格而非直接排除。在一个全正样本的黄金集(\(N{=}16\)篇全文;\(M{=}3{,}208\)个片段)的试点项目中,该模糊系统实现了81.25%(人群)、87.50%(干预措施)、87.50%(结果)和75.00%(研究方法)的文档级召回率,置信区间为95%,超过了统计基线(召回率56.25–75.00%)和清晰基线(召回率43.75–81.25%)。在严格“所有标准”条件下,有50.00%的文章被纳入,而基线下的这一比例分别为25.00%和12.50%。不同模型对理由的一致性为98.27%,人机一致性为96.07%。试点审查显示评分者间一致性为91%(\(\kappa {=}0.82\)),筛选时间从大约20分钟减少到每篇文章不到1分钟,且成本显著降低。这些结果表明,模糊逻辑结合对比性高亮和可解释的LLM判断能够实现高召回率、稳定的理由以及端到端的可追溯性。我们强调,所报告的召回率是基于全正样本黄金集计算的(没有排除任何文章),因此这里没有定义特异性、ROC/PR曲线和AUC;关于混合标签语料库的完整操作特性分析将在后续研究中报告。
全文筛选是系统评价(SRs)的主要瓶颈,尤其是在非传染性疾病(NCDs)的人群健康建模等领域,其中关键的资格信息分散在冗长且异构的全文中。在这项方法学研究中,我们引入了一种可扩展且可审计的流程,将纳入和排除过程重新定义为模糊决策过程。我们在人群健康建模共识报告网络(POPCORN)框架内评估了这种方法,并将其与统计方法和清晰基线进行了对比。文章被分割成重叠的片段,并嵌入了一个针对特定领域的模型;对于每个标准(人群、干预措施、结果、研究方法),我们计算了对比相似度(纳入-排除余弦值)和“模糊度阈值”,Mamdani模糊控制器将这些值映射到多标签分类设置中的分级纳入程度。大型语言模型(LLM)对这些高亮片段进行三级标签、置信度评分和基于标准的理由判断;当证据不足时,系统会减弱模糊成员资格而非直接排除。在一个全正样本的黄金集(\(N{=}16\)篇全文;\(M{=}3{,}208\)个片段)的试点项目中,该模糊系统实现了81.25%(人群)、87.50%(干预措施)、87.50%(结果)和75.00%(研究方法)的文档级召回率,置信区间为95%,超过了统计基线(召回率56.25–75.00%)和清晰基线(召回率43.75–81.25%)。在严格“所有标准”条件下,有50.00%的文章被纳入,而基线下的这一比例分别为25.00%和12.50%。不同模型对理由的一致性为98.27%,人机一致性为96.07%。试点审查显示评分者间一致性为91%(
生物通微信公众号