《Journal of Biomedical Informatics》:Knowledge augmented causal discovery through large language models and Knowledge Graphs: Application in chronic low back pain
编辑推荐:
目的:从观察性数据进行因果发现(causal discovery)受限于可用数据集的结构约束、因果逻辑的缺失以及外部领域知识的缺乏。研究人员提出知识增强因果发现(Knowledge-Augmented Causal Discovery, KACD)框架,将数据
目的:从观察性数据进行因果发现(causal discovery)受限于可用数据集的结构约束、因果逻辑的缺失以及外部领域知识的缺乏。研究人员提出知识增强因果发现(Knowledge-Augmented Causal Discovery, KACD)框架,将数据驱动的结构学习与基于大语言模型(Large Language Model, LLM)的知识系统相结合,以克服这些限制,并应用于慢性下背痛(chronic low back pain, cLBP)。方法:研究人员在三种复杂度递增的配置中评估KACD:朴素LLM、通过检索增强生成(retrieval-augmented generation, RAG)增强的LLM,以及通过基于知识图谱的RAG系统(Knowledge Graph-based RAG, KG-RAG)增强的LLM。每种配置均以临床推导并经专家验证的cLBP因果图为基准。因果查询采用分解式两阶段提示策略——分别查询合理性(plausibility)、统计关联(statistical association)和时间先行性(temporal precedence)——其灵感来自领域专家在构建金标准时使用的方法。性能使用F1分数、真阳性率(true positive rate, TPR)、错误发现率(false discovery rate, FDR)和结构汉明距离(Structural Hamming Distance, SHD)进行评估。结果:采用合理性提示的KG-RAG获得最高F1分数(0.697),优于标准RAG(F1 0.689)、朴素LLM(F1 0.649)和仅数据驱动的结构学习(F1 0.396),但这依赖骨干模型,取决于所用LLM,RAG可能优于KG-RAG。在所有知识系统配置中,分解式因果提示优于直接因果查询。将数据驱动原型模型(proto-model)与任何知识系统结合,均在所有提示策略和系统配置中一致提高了任一方法单独使用的性能下限。结论:LLM驱动的知识系统可有效增强数据驱动的因果发现,用于生物医学因果建模,其中KG-RAG通过跨文档综合和以实体为中心的检索提供更优性能。这些发现支持KACD作为研究人员在复杂、多学科健康领域中构建因果模型时决策支持工具的潜力,但其实际应用仍需进一步验证。
从观察性数据中建立变量间因果关系在健康研究中至关重要,尤其在随机实验不可行或不合伦理时。因果模型通常以有向图或结构方程编码假设关系,并指导下游分析。专家构建因果模型虽严谨但资源密集;数据驱动因果发现(structural learning)可扩展,但通常只能恢复马尔可夫等价类(Markov equivalence class),而非唯一有向图;若无领域知识编码,结构学习仅依赖观测数据。慢性疼痛等复杂生物心理社会状况中,因果路径跨生物、心理和社会领域,文献分散,问题更突出。大语言模型(large language model, LLM)为纳入领域知识提供可扩展路径,但已有工作显示LLM记忆关联与真正因果推理之间存在差距。为此,研究人员提出知识增强因果发现(Knowledge-Augmented Causal Discovery, KACD)框架,将数据驱动结构学习与基于LLM的知识系统结合,并在慢性下背痛(chronic low back pain, cLBP)中,与临床推导、专家验证的因果图进行基准比较。研究比较三种知识系统:朴素LLM、检索增强生成(retrieval-augmented generation, RAG)增强LLM、基于知识图谱(Knowledge Graph, KG)的RAG(KG-RAG)增强LLM,并采用分解式两阶段提示,分别查询合理性、关联和时间性。关键贡献包括隔离各配置边际价值的受控基准、基于专家方法的因果提示、使用与专家相同文档构建知识图谱以进行认知清晰评估、以及证明结合数据驱动结构学习与任何知识系统均提高单独方法性能。结论是LLM驱动知识系统可有效增强生物医学因果发现,KG-RAG通过跨文档综合和以实体为中心检索表现更优,支持KACD作为决策支持工具的潜力,但实际应用仍需验证。意义在于为复杂多学科健康领域构建因果模型提供辅助路径,同时仍需专家审查。
关键技术方法:研究人员使用加州大学旧金山分校BACKHOME研究1868名cLBP参与者的基线数据。以证据合成构建有向无环图(evidence synthesis for constructing directed acyclic graphs, ESC-DAG)方法构建的14变量专家因果图作为金标准,目标包括酒精使用、吸烟、睡眠障碍、抑郁、肥胖五个暴露和疼痛、享受生活和一般活动(Pain, Enjoyment of life, and General activity, PEG)结局。构建三种知识系统:朴素LLM、RAG和KG-RAG;KG-RAG从96篇专家所用文献构建GraphRAG知识图谱,经实体关系抽取、实体消解、Leiden聚类和社区摘要,查询时进行局部搜索。RAG使用S-PubMedBert-MS-MARCO嵌入和FAISS检索。LLM主干为Mistral 7B-Instruct v0.3,敏感性分析使用Llama 3.1 8B-Instruct。因果提示包括合理性、关联、时间性和直接因果,采用边存在与边方向两阶段。结构学习使用bnlearn的hill climb算法、广义线性模型(generalized linear model, GLM)和贝叶斯信息准则(Bayesian Information Criterion, BIC),500次bootstrap生成原型模型。评估F1、TPR、FDR、汉明距离(Hamming distance, HD)和SHD。
研究结果如下。4.1 原型模型(Proto model):最优边存在阈值为0.538;F1为0.396,优于随机图0.170;TPR为0.297,优于0.103;FDR为0.406,优于0.509;SHD为51,优于63.5。道德化图显示hill climb算法对成对关联结构的捕捉优于边方向,符合横断面数据无法区分马尔可夫等价方向的预期。原型模型骨架成为知识增强基础。4.2 知识系统(Knowledge systems):解决双向边前,所有系统在合理性提示下最佳(LLM F1=0.637;RAG=0.629;KG-RAG=0.626),关联和时间性下降。所有系统在多数指标上优于直接因果提示。解决双向边后,KG-RAG合理性F1最高0.697,RAG 0.689,LLM 0.649,SHD均下降;决胜查询(tiebreaker query)对KG-RAG合理性相对提升最大。预测边主要基于合理性,三查询一致较少;LLM预测边最少,RAG更多时间性信号,KG-RAG合理性-only比例最高,且在关联和时间性下FDR较高。4.3 知识增强因果发现(Knowledge-augmented causal discovery):hill climb算法与合理性预测对齐最差。将原型模型与任何知识系统结合均改善性能,ΔF1
p为正;与原型模型最不一致的合理性提示增益最大。ΔF1
p和ΔF1
ks除LLM和RAG合理性外均零或正,表明混合提高性能下限。敏感性分析显示,重选阈值平均改善0.03,KG-RAG时间性达0.09;并集(union)规则优于交集(intersection)规则;多知识系统投票未改善,严格阈值降低F1;连续加权强度较二元并集平均改善0.04–0.05,KG-RAG时间性最高+0.16;oracle加权无额外改善。RAG在36配置中20个最佳,LLM 14个,KG-RAG仅5个;KG-RAG精度优势来自决胜查询时LLM重推理KG-RAG检索的实体关系和社区摘要。Llama骨干敏感性显示核心发现成立,但最佳知识系统排名不跨LLM转移。
讨论部分总结:在提示方法和因果查询方面,专家方法启发下,查询合理性、关联、时间性优于直接因果判定。性能沿合理性、关联、时间性下降,提示LLM能建议可能因果关系,但难以决定性正确判定关联和因果,未来应限制在支持角色。除RAG和KG-RAG在时间性外,所有系统与指标均优于直接因果提示,支持边存在和方向分离。在知识系统比较方面,RAG和KG-RAG可提高LLM因果建模性能;与LACR中因金标准与文献不一致而RAG恶化不同,本研究RAG/KG-RAG文档与金标准一致,支持检索增强在一致条件下改善性能。KG-RAG合理性优势可能源于以实体为中心的更细粒度检索,并利用实体关系和社区摘要捕获跨文档主题;KG-RAG合理性假阳性相对真阳性更少。RAG在关联和时间性上优于KG-RAG,可能因文本块更适合呈现具体方向或关联陈述,而KG-RAG局部搜索以实体为入口,对编码为边的关系检索不足。在整合知识方面,结合原型模型和知识系统提高两者性能下限,支持LLM细化因果发现输出;原型模型支持知识系统未捕获的边。高FDR下KACD输出不应被无批判接受;失败模式包括捏造和误用。RAG/KG-RAG语料故意与专家金标准一致,F1可能为乐观上界;收益条件于检索-金标准对齐。KACD适合作为专家审查前的分诊步骤。在cLBP因果发现方面,数据多样性是瓶颈;LLM可桥接不同数据与研究类型。高FDR可能因关联误认为因果或伪关系;方向错误多存在于金标准反向,例如酒精-抑郁、吸烟-焦虑/抑郁,文献本身有冲突或双向证据。系统不能在证据不支持下制造确定性。未来工作需在更多数据集和领域验证,Llama敏感性表明排名不跨骨干;KG检索应扩展关系/社区入口全局搜索;迭代共细化、纳入观测数据摘要;证据可追溯;重复运行置信区间;更大图基准CausalBench;并考虑成本。
结论翻译:本研究增加证据表明LLM驱动知识系统可增强生物医学因果建模中的数据驱动因果发现。关键发现:知识系统更擅长提出合理关系而非确定统计关联或时间先行性,支持其辅助而非自主因果判定者角色;KG-RAG以实体为中心检索通过跨文档综合改善合理性评估,而RAG更好支持需要特定关系或时间证据的查询;将数据驱动原型模型与任何知识系统结合提高任一方法单独性能下限,在所有提示策略和系统配置中成立;边方向一致误预测源于文献中模糊方向证据,是证据基础局限而非检索方法局限;KG-RAG优越性依赖骨干模型,表明因果查询所用LLM对KACD结果重要。总体支持进一步开发和验证KACD,作为研究人员导航cLBP复杂多学科证据基础的决策支持工具,人工专家审查仍必不可少。