免疫检查点抑制剂相关肝损伤的大语言模型评估:聚焦新兴微生物组证据

《Frontiers in Cellular and Infection Microbiology》:Evaluation of large language models for ICI-related liver injury with an emerging microbiome focus

【字体: 大 中 小 】 时间:2026年10月09日 来源:Frontiers in Cellular and Infection Microbiology 5.5

编辑推荐:

  背景: 免疫检查点抑制剂相关肝损伤(ICI-LI)具有异质性表型、复杂的鉴别诊断和不断演变的管理策略。肠道微生物组研究为免疫检查点抑制剂治疗期间的免疫调节提供了生物学合理性,但针对ICI-LI的特异性证据仍然有限,且尚未具备临床可操作性。本研究评估了公开可用的

  
背景: 免疫检查点抑制剂相关肝损伤(ICI-LI)具有异质性表型、复杂的鉴别诊断和不断演变的管理策略。肠道微生物组研究为免疫检查点抑制剂治疗期间的免疫调节提供了生物学合理性,但针对ICI-LI的特异性证据仍然有限,且尚未具备临床可操作性。本研究评估了公开可用的大语言模型(LLM)聊天机器人能否组织这一混合证据体系并传达其不确定性。 方法: 研究人员开发了一个包含25个问题的疾病特异性基准测试,涵盖ICI-LI的免疫学机制、微生物组与免疫调节、诊断、生物标志物和管理。该基准测试广泛涉及ICI-LI,并包含一个聚焦于微生物组的组成部分。研究人员使用DISCERN、EQIP、全球质量评分(Global Quality Score)、JAMA基准标准(JAMA Benchmark Criteria)以及六项可读性指数对四个公开可用的LLM平台进行了评估。这些工具评估的是信息质量、结构、透明度和面向患者的可读性,而非事实准确性或临床决策能力。 结果: 各平台在DISCERN、EQIP和JAMA评分上的表现存在差异,而全球质量评分(Global Quality Score)的区分度有限。在需要证据评估或转化的问题上,题目层面的差异最为明显。所有平台均能生成结构化回复,但无一达到预设的面向患者可读性基准。可读性被单独解释,与面向临床医生的信息综合分开考量。 结论: 在LLM生成的信息被认为可用于微生物组相关的临床沟通或决策支持之前,需要进行疾病特异性的多维评估。评估应强调证据校准,并区分生物学合理性、关联性和临床可操作的证据。
研究背景与科学问题
免疫检查点抑制剂(ICIs)通过阻断程序性死亡受体1(PD-1)/程序性死亡配体1(PD-L1)和细胞毒性T淋巴细胞相关抗原4(CTLA-4)等抑制性通路来恢复抗肿瘤免疫,但这种免疫激活可能破坏自身耐受,导致免疫相关不良事件(irAEs)。其中,免疫检查点抑制剂相关肝损伤(ICI-LI)临床表现多样,从无症状的肝酶升高到肝炎、混合性损伤甚至胆管病变,可能需要使用免疫抑制剂并中断或永久停止抗肿瘤治疗。因此,其评估需整合临床表现、实验室检查、影像学、治疗暴露史及竞争性病因等多方面信息。
肠道微生物组通过肠-肝轴影响全身免疫和肝脏免疫调节,并与ICI治疗的疗效和毒性相关。然而,现有微生物组证据因癌症类型、治疗方案、人群、测序方法和分析流程的不同而存在显著差异,且大多数证据关注的是ICI总体反应或irAEs,而非肝脏特异性毒性。所报道的微生物特征多为关联性发现而非经过验证的生物标志物,临床解读时必须区分生物学合理性与足以指导临床实践的证据强度。
尽管大语言模型(LLM)聊天机器人正越来越多地被临床医生和患者用于获取生物医学信息,但其可靠性仍不确定。既往研究多集中于一般健康教育和单一专科问答,报告了信息不完整、来源不透明、知识过时以及技术性语言阻碍临床解读和患者理解等问题。LLM很少在结合既定临床指南与新兴微生物组证据的专业问题上接受测试。因此,研究人员开展了一项疾病特异性基准研究,旨在比较不同LLM平台在ICI-LI领域的信息质量、结构、透明度和可读性,重点关注临床信息综合与证据校准能力。
主要关键技术方法
研究人员采用横断面比较研究设计,开发了一个包含25个问题的疾病特异性基准测试,覆盖免疫学机制、微生物组与免疫调节、诊断与鉴别评估、生物标志物与风险预测、治疗管理与未来应用五个领域。评估对象为四个公开可用的LLM聊天机器人平台:ChatGPT 5.5、Gemini 3.5 Flash、Perplexity和Copilot。每位聊天机器人在默认设置下接收相同的问题,无额外提示或后续交互。两名受过医学培训的评审员独立使用DISCERN、确保患者信息质量工具(EQIP)、全球质量评分(GQS)和JAMA基准标准(JAMA Benchmark Criteria)对回复进行评分,并使用自动化可读性指数(ARI)、Flesch阅读易读性分数(FRES)、Gunning迷雾指数(GFI)、Flesch-Kincaid年级水平(FKGL)、Coleman-Liau指数和简易迷惑指数(SMOG)六项指标评估语言复杂性。统计分析采用Kruskal-Wallis检验及Dunn事后两两比较。
研究结果
3.1 基准问题数据集的特征与范围
基准测试包含25个临床导向问题,均匀分布在五个领域,涵盖机制解读、证据评估、临床评估、治疗决策和精准医学概念。
3.2 整体质量评估揭示LLM平台间的异质性表现
DISCERN、EQIP和JAMA评分在各聊天机器人间存在显著差异(P < 0.001),而GQS评分无差异(P = 0.826)。Copilot和Perplexity在选定质量维度上中位得分更高:DISCERN中位数均为43.00,高于ChatGPT和Gemini的38.00;EQIP中位数均为70.00,高于ChatGPT的55.00和Gemini的50.00。透明度差异效应量最大,JAMA评分中位数分别为ChatGPT和Gemini的0分与Copilot和Perplexity的1分。这表明结构化评估工具能识别出全局主观评分无法捕捉的临床有意义差异。
3.3 LLM平台间的两两比较
Dunn事后检验显示,差异集中在结构化信息质量和透明度测量上。对于DISCERN和EQIP,ChatGPT和Gemini均显著低于Copilot和Perplexity,而两组内部无差异。JAMA比较同样将ChatGPT和Gemini与Copilot和Perplexity分开。GQS的所有比较均无显著性。没有平台在所有工具上一致优于其他平台。
3.4 相对于面向患者基准的可读性
所有平台的回复均超过预设的面向患者阅读水平。中位ARI范围为16.56至19.06,GFI为18.40至20.14,FKGL为15.87至16.76,Coleman-Liau指数为18.39至21.29,SMOG为13.45至16.91,均远高于六年级阈值。FRES值也很低,范围为-4.37至11.31。没有一个LLM达到六年级基准,未修改的回复对许多患者而言难以理解。
3.5 LLM平台间的题目层面异质性表现模式
每个平台内的题目层面结果均存在变异。平台间对比在需要证据评估或转化的题目上最为明显,包括微生物毒性特征与证据强度(Q8)、生物标志物转化障碍(Q21)以及多模态数据整合(Q24)。相比之下,GQS评分在各题目间大致相似。可读性则更为一致,绝大多数回复均超出推荐的患者教育阅读水平。
讨论总结与研究结论
讨论指出,本研究表明当前LLM聊天机器人在ICI-LI临床信息综合任务中表现出异质性。ICI-LI的诊断和管理需要整合复杂的生物学和临床信息,而微生物组证据因其生物学合理性超过当前临床可操作性而带来了特殊的校准挑战。不同评估工具捕捉了模型性能的不同方面,表明不应通过单一全局指标评估医疗AI系统。可读性发现指向另一个不同于专业信息综合的任务——复杂术语和高语言需求限制了未修改回复的直接面向患者使用。潜在临床应用应根据任务风险界定,LLM可辅助文献整理和既定指南总结,但不应独立解读微生物组生物标志物或做出治疗决策。
研究结论部分翻译如下:当前的LLM聊天机器人在为ICI-LI生成信息的质量、结构和透明度方面存在差异,且未修改的回复未能达到面向患者的可读性基准。微生物组部分显示了根据证据成熟度校准声明的重要性。在LLM生成的信息被认为可靠用于临床沟通或决策支持之前,需要进行疾病特异性的多维评估,特别是在生物标志物解读和治疗决策方面。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号