语义临床人工智能(SCAI)增强大语言模型医学问答能力的评估与推理蒸馏模型表现分析
《IEEE Journal of Biomedical and Health Informatics》:Semantic Clinical Knowledge Augmentation Improves Medical Question Answering Across Commercial and Open Large Language Models
【字体:
大
中
小
】
时间:2026年10月12日
来源:IEEE Journal of Biomedical and Health Informatics 7.7
编辑推荐:
摘要:目的:评估通过语义临床人工智能(SCAI)进行语义临床知识增强是否能提高商业和开放大语言模型的医学问答能力,并检查推理蒸馏模型在同一基准上的表现。材料与方法:我们在美国医师执照考试(USMLE)第一级(n = 87)、第二级临床知识(n = 103)和第三级(n =
摘要:
目的:评估通过语义临床人工智能(SCAI)进行语义临床知识增强是否能提高商业和开放大语言模型的医学问答能力,并检查推理蒸馏模型在同一基准上的表现。材料与方法:我们在美国医师执照考试(USMLE)第一级(n = 87)、第二级临床知识(n = 103)和第三级(n = 123)的官方纯文本样题上,评估了 Google Gemini、Microsoft Copilot、Meta Llama 3 70B 和 DeepSeek-R1-Distill-Llama-70B,并比较了有无 SCAI 的情况。SCAI 包括 HD-NLP 解析、图及知识图谱嵌入、训练过的 SCAI LLM 语义知识推理器以及语义知识库;当前实现包含 246 个关系标签下的 33,023,902 个三元组。根据答案键对回复进行评分,并进行人工二次验证。所有模型对每个纯文本项目都产生了回复,因此错误回复被计为虚构。结果:在 313 个项目上,Gemini 的准确率从 90.7% 提高到 97.1%,Llama 3 70B 从 82.4% 提高到 92.0%,DeepSeek-R1-Distill 从 55.3% 提高到 81.8%;Copilot 从 93.6% 变为 94.2%。在三个级别的测试中,Gemini、Llama 3 70B 和 DeepSeek-R1-Distill 的模型内增益具有统计学意义,但 Copilot 没有。最佳单模型结果是 Step 3 的 Llama 3 70B 加 SCAI(121/123,98.4%)。Gemini 加 SCAI 是数值上最强的商业系统。结论:在多个异构 LLM 中,SCAI 与显著提高的准确率和更低的虚构率(假阳性结果)相关,支持一种语义接地的流水线,其中专用的 SCAI LLM 为宿主 LLM 生成临床上下文,同时表明强大的通用推理性能并不能自动转化为医疗准备就绪状态。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号