《Machine Learning and Knowledge Extraction》:An Evidence-Based Knowledge Graph Framework with Large Language Models and Human-in-the-Loop for Ovarian Cancer Resistance
编辑推荐:
大语言模型(LLMs)与知识图谱(KGs)之间的相互关系为从科学文献中进行知识发现开辟了新的机遇;然而,大多数方法仅处理这种相互作用的单一方向。在复杂的生物医学领域,确保可靠性、可解释性和可追溯性仍具挑战性,这使得专家监督至关重要。研究人员提出一个整合LLMs
大语言模型(LLMs)与知识图谱(KGs)之间的相互关系为从科学文献中进行知识发现开辟了新的机遇;然而,大多数方法仅处理这种相互作用的单一方向。在复杂的生物医学领域,确保可靠性、可解释性和可追溯性仍具挑战性,这使得专家监督至关重要。研究人员提出一个整合LLMs、KGs与人在回路(HITL)方案的框架,用于构建、评估和推理基于证据的知识图谱(E-KGs),明确将每个提取的三元组与其支持的文本证据相关联,并展示其在卵巢癌耐药现象研究中的应用。该E-KG使用MedGemma-27B构建,专家在整个E-KG生命周期中参与,并得到交互式可视化工具的支持。研究人员通过专家驱动协议评估E-KG,评估连贯性与生物学合理性,并采用评估者间一致性(Gwet’s AC1系数),辅以基于GraphRAG的任务,包括链接预测(Hits@k, MRR)和问答案例研究(通过LLM-as-a-judge和专家审计评估忠实性与答案相关性)。该框架产生了连贯、合理且可审计的E-KG,凸显了证据支撑的知识支持基于LLM推理的潜力。据研究人员所知,本研究引入了首个专门针对卵巢癌耐药性的E-KG,提供了一个经专家验证的资源,推进了生物医学知识发现中可信且可解释的人工智能。
生物医学文献的指数增长为科学发现带来机遇,但庞大的文章数量使信息整合与理解变得困难。系统综述虽为标准方法,但需大量人力。大语言模型(LLMs)在信息抽取中展现出强大能力,然而其随机性和黑箱特性导致幻觉、偏见等问题。知识图谱(KGs)可对多源信息进行结构化表示,但构建与维护仍具挑战。现有方法多只利用LLM与KG相互作用的单向关系,人在回路(HITL)策略的应用也主要局限于预测改进和最终结果验证,缺乏将构建、验证与推理统一起来的系统性框架。卵巢癌耐药性涉及临床、分子和药理等多维因素,且针对该领域的专用知识图谱资源稀缺。为填补上述方法学空白,研究人员提出了一个整合LLMs、KGs与HITL的统一框架,形式化定义了基于证据的知识图谱(E-KG),将每个提取的三元组与支持性文本证据显式关联,并构建了首个专门针对卵巢癌耐药性的E-KG。通过专家驱动验证和GraphRAG推理实验,该E-KG展现出连贯性、生物学合理性和可追溯性,并显著提升了基于LLM的推理性能,为复杂生物医学领域的知识发现提供了可解释、可信赖的资源。
研究人员采用本地部署的MedGemma-27B模型,通过Article Builder和Abstract Augmenter两层策略,从5篇Q1综述全文和3408篇PubMed摘要(2020至2025年)中抽取证据与三元组;使用all-MiniLM-L6-v2生成节点嵌入,通过凝聚层次聚类进行全局归一化;开发基于D3.js的交互式可视化工具支持专家全程评审;推理采用GraphRAG架构,以ChromaDB和HNSW索引检索三元组,经MedCPT交叉编码器重排序后输入LLM生成回答;评估采用专家驱动协议(Gwet’s AC
1)和LLM-as-a-judge。
研究结果如下:
5.1 结构分析:E-KG由12,209个节点和15,135个三元组组成,包含2,670种关系类型和4个主题簇,并关联4,137条证据实例。全局密度低,平均度为2.48,最大度为406;主弱连通分量包含77.13%的节点,表明图结构具高度全局凝聚性,有利于多跳推理。
5.2 语义分析:节点按主题聚为临床结局、耐药、治疗策略和肿瘤特征四类,各簇词云显示核心概念。生物实体分类识别出GENE_PROTEIN、COMPOUND_DRUG、BIOLOGICAL_PROCESS、RNA_DNA、PATHWAY、DISEASE六类,其中P-gp、MYC、BRCA1、PI3K/AKT通路等高频实体反映了耐药相关分子机制的多层次整合。
5.3 连通性和路径分析:弱连通分量呈核心-边缘结构,cisplatin resistance等高连接度节点作为结构枢纽连接多个主题簇。路径分析示例揭示cisplatin resistance与poor prognosis之间经MEOX2、TOP2A等中间实体的间接关联,与临床证据一致。
5.4 专家验证:3位专家评估520个样本,92.9%的三元组被判定为连贯,90.4%为生物学合理,96.7%的证据检索正确。估计总体连贯性为93.77%(95% CI: 91.35–96.19%),合理性为92.6%(95% CI: 90.24–94.96%)。评估者间一致性Gwet’s AC
1分别为0.942(连贯性)和0.869(合理性),均接近完全一致。
5.5 链接预测:在500个三元组上,E-KG GraphRAG在Hits@1、Hits@3和MRR上持续优于LLM-only和ClassicRAG基线。MedGemma-27B的Hits@1从0.43(LLM-only)和0.592(ClassicRAG)提升至0.91,MRR达0.947;错误主要集中于嵌入空间中高度相似的硬干扰项。
5.6 基于GraphRAG的推理:领域案例研究显示,模型能基于E-KG证据形成针对卵巢癌耐药的合理假设,将检索三元组归类为微RNA靶向转移、纳米粒递送等有用范畴。专家打分0.85,LLM-as-a-judge给出忠实性0.90和答案相关性0.80,证明可支持知识发现与假设生成。
讨论部分指出,该E-KG不同于通用生物医学知识图谱,整合了分子、过程、临床与治疗等多级知识,并通过证据关联实现每一步的可追溯性。LLM与KG的协同作用为模型提供了外部归纳偏置,减少幻觉并提高事实一致性;HITL全程参与降低了专家认知负荷,但标准化策略保留了语义特异性,导致关系类型数量较多。研究人员也承认E-KG中的关系代表文献声明而非确定性因果,且受文献选择范围限制;专家介入仍需时间成本,框架的跨领域适用性有待进一步验证。未来工作拟引入多模态数据、时序推理以及神经符号方法。
结论:这项研究提出了一个用于E-KG构建、评估和推理的框架,将LLMs的能力与HITL策略相结合。所提出的方法在统一框架内整合了结构化知识表示、基于文献的证据、持续专家评估和可解释推理。结果表明,E-KG在保持对原始文献可追溯性的同时,展现出连贯性、生物学合理性和语义一致性。此外,推理任务的实验证明了基于证据的结构化知识在改善LLM响应和促进假设生成方面的潜力。总体而言,所提出的方法提供了一个可追溯且经专家验证的资源,据研究人员所知,这是首个专门针对卵巢癌耐药性的E-KG。这项工作有助于弥合LLMs、KGs和HITL策略在构建不仅有效而且透明可靠的可解释AI系统方面的整合差距,从而支持复杂生物医学领域的知识发现。