通过基于案例的引导来提高基于大型语言模型的ICU死亡率预测的公平性

《Artificial Intelligence in Medicine》:Improving fairness of large language model-based ICU mortality prediction via case-based prompting

【字体: 大 中 小 】 时间:2026年10月14日 来源:Artificial Intelligence in Medicine 7.8

编辑推荐:

  • CAP 在不重新训练模型的情况下提高了 ICU 死亡率预测的准确性。• CAP 减少了与性别和种族相关的 FNR 差异。• 人口统计学消融实验揭示了不同的公平性-性能模式。• CAP 保持了总体一致的临床因素模式。• 轻量级大语言模型(LLM)测试表明初步具有可转移性。 引

  • CAP 在不重新训练模型的情况下提高了 ICU 死亡率预测的准确性。• CAP 减少了与性别和种族相关的 FNR 差异。• 人口统计学消融实验揭示了不同的公平性-性能模式。• CAP 保持了总体一致的临床因素模式。• 轻量级大语言模型(LLM)测试表明初步具有可转移性。

引言
在高风险临床环境中,关于人工智能(AI)系统公平性的关注已成为学术界和工业界的核心伦理问题 [1]。随着 AI 技术越来越多地融入医疗保健领域,它们在支持临床决策中的作用迅速增长 [2],[3]。在重症监护病房(ICUs)中,机器学习模型被广泛用于死亡率风险预测和疾病严重程度评估 [4],[5]。传统的 ICU 死亡率预测模型,如 APACHE、SAPS、基于 SOFA 的风险评分以及基于结构化临床变量的机器学习模型,在风险分层方面表现出强大的预测性能。然而,这些模型通常依赖于预定义的特征表示和固定的预测流程,并且它们不直接提供可以检查潜在人口统计捷径或临床不合理解释的自然语言推理过程。

大语言模型(LLMs)正越来越多地被视为通用的临床推理接口。尽管结构化的 ICU 死亡率预测仍然是一个基于表格数据的任务,但 LLMs 为研究公平性提供了有用的平台,因为它们可以将结构化的临床变量转换为自然语言的风险评估,生成明确的推理链,并通过上下文学习整合检索到的示例。因此,我们的目标并不是声称 LLMs 在 ICU 死亡率预测方面本质上优于传统的表格模型。相反,我们关注的是基于 LLM 的临床预测系统在应用于结构化 ICU 数据时是否表现出人口统计差异,以及是否可以通过轻量级推理时干预来缓解这些差异。

公平性问题在 ICU 死亡率预测中尤为重要,因为与性别、年龄和种族/民族等人口统计属性相关的系统性性能差异可能导致监测强度、临床关注或医疗资源的分配不均,从而加剧现有的健康差异 [6],[7],[8]。例如,两位 ICU 患者的病情评分、生命体征、实验室检测结果和治疗干预可能相似,但他们在人口统计属性上存在差异。在这种情况下,LLM 可能会因为过分强调年龄、性别或种族/民族而非客观生理证据而产生不同的死亡率估计或解释。这种类型的人口统计捷径推理在高风险的临床环境中尤其令人担忧,因为即使是微小的死亡率风险估计差异也可能影响临床优先级和对 AI 辅助决策的支持的信任。

基于 LLM 的临床预测中的人口统计偏见可能来自几个来源。首先,LLM 可能从预训练语料库中继承统计关联、刻板印象和不均衡的疾病描述,包括对性别、年龄和种族/民族群体的风险表示不平衡。其次,临床笔记和电子健康记录本身可能反映了护理提供、文档实践、治疗获取和亚组代表方面的历史不平等。第三,当结构化的 ICU 变量被转换为自然语言提示时,人口统计标记可能成为显著的上下文线索,并且可能被模型过度权重化,尤其是在临床证据不完整、嘈杂或模糊的情况下。因此,LLM 可能依赖年龄、性别或种族/民族作为风险的便捷代理,而不是充分整合客观生理证据。

鉴于这些潜在的人口统计捷径推理来源,引入这种高风险临床场景的 LLM 面临两个关键挑战。首先,有必要检测患者亚组之间的人口统计偏见,包括女性、老年人或少数族裔患者的表现不平衡 [9]。传统的公平性指标主要测量输出级别的差异,但可能无法捕捉到潜在的特征依赖性偏见,即模型在不同人口统计群体之间依赖于不同的临床因素或推理模式的倾向。其次,应在不显著牺牲预测性能的情况下实现偏见缓解。现有的缓解策略通常依赖于重新加权、公平性约束或模型重新训练,这在模型参数不可访问时可能不可行,并且在高风险的临床环境中还可能降低整体准确性。

因此,本研究旨在系统地探讨以下三个研究问题:
- 是否存在偏见?LLM 在 ICU 死亡率预测中是否在不同人口统计亚组之间表现出可测量的性能差异?
- 偏见在哪里?差异是否仅限于预测输出,还是也反映在特征依赖性和推理模式中?
- 是否可以在不无差别地抑制人口统计信息的情况下缓解偏见?无训练的提示策略是否可以在保持潜在有用的人口统计上下文的同时改善预测性能和亚组公平性之间的实证平衡?

为了解决这些问题,我们构建了一个多维偏见评估框架,并提出了基于案例的提示(Case-Based Prompting, CAP),这是一种用于基于 LLM 的 ICU 死亡率预测的无训练推理时提示框架。CAP 检索具有已知结果的历史上类似的错误预测和人口统计敏感案例,并将其作为案例级别的上下文证据纳入提示中。通过提供先前预测错误和已知结果的具体示例,CAP 旨在引导模型朝向更基于临床的推理,并减少不支持的人口统计捷径。

本研究的主要贡献如下:
- 我们开发了一个多维偏见评估框架,该框架整合了模型歧视、亚组公平性和特征依赖性分析,从而能够系统地评估不同人口统计群体之间的输出级别差异和推理模式差异。
- 我们提出了基于案例的提示(CAP),这是一种无训练的提示框架,它检索具有类似临床特征的历史错误预测和人口统计敏感案例,为基于 LLM 的 ICU 死亡率预测提供案例级别的上下文证据。
- 我们在真实的 MIMIC-IV 数据集上进行了回顾性评估,以检查 CAP 是否改善了预测性能和亚组公平性之间的实证平衡,同时分析了特征依赖性的一致性和代表性的案例级别推理模式。
- 我们进行了受控的人口统计信息消融实验,分别评估呈现给 LLM 的人口统计信息和检索过程中使用的人口统计过滤,从而实证地描述了人口统计上下文的预测贡献以及公平性-性能之间的权衡。

临床 AI 中的偏见和公平性
在医疗保健中,特别是在像重症监护病房(ICUs)这样的高风险环境中部署的预测模型,已被广泛报道在不同人口统计属性(包括种族、性别和年龄)上存在差异 [10],[11],[12]。这些差异可能源于亚组代表性不足、医疗保健提供中的历史不平等以及嵌入在电子健康记录中的文档偏见。最近的一项范围审查报告称,相当一部分临床...

问题定义
本研究的目的是使用在 ICU 入院后 24 小时内收集的结构化临床变量来预测 ICU 患者的院内死亡率风险。用 ??={(????,????,????)}????=1 表示研究队列,其中 ????∈??? 代表患者 ?? 的非人口统计结构化临床特征,???? 表示人口统计属性,????∈{0,1} 是真实的院内死亡标签。完整的结构化输入包括人口统计特征、实验室检测结果...

研究人群
本研究使用了 MIMIC-IV 数据库来构建一个回顾性 ICU 队列。纳入标准是首次入住 ICU 并且住院时间超过 24 小时的成年患者。在模型开发之前,进行了数据质量评估,并排除了数据缺失比例过高的患者。最终队列包括 45,153 名患者。患者被随机分为训练集和独立测试集,比例为 7:3。

主要发现和解释
本研究调查了基于 LLM 的 ICU 死亡率预测中的人口统计差异,并评估了一种无训练的基于案例的提示策略是否可以改善预测性能和亚组公平性之间的实证平衡。在回顾性的 MIMIC-IV 评估中,基于案例的提示(CAP)在 LLM 提示策略中提高了预测性能,并减少了几个亚组公平性差距。这些改进在...

结论
本研究调查了基于 LLM 的 ICU 死亡率预测中的人口统计差异,并提出了基于案例的提示(CAP),这是一种无需训练的推理时框架,它将具有类似临床特征的历史错误预测和人口统计敏感案例纳入提示中。在回顾性的 MIMIC-IV 评估中,CAP 在 LLM 提示策略中提高了预测性能,并减少了几个亚组公平性差距,而特征依赖性分析表明 CAP 保持了...

CRediT 作者贡献声明
Gangxiong Zhang:撰写 - 原始草案、可视化、验证、方法论、调查、正式分析、数据管理、概念化。
Yongchao Long:监督、方法论、正式分析、概念化。
Yuxi Zhou:撰写 - 审阅与编辑、监督、资源管理、项目行政、资金获取、正式分析。
Yong Zhang:撰写 - 审阅与编辑、监督、资源管理、项目行政。
Shenda Hong:撰写 - 审阅与编辑、监督。

伦理声明
作者尚未从参与者或其法定代表处获得知情同意。对于 MIMIC-IV 研究资源,由于数据已去标识化并可用于授权的二次研究,因此免除了个体知情同意的要求。本研究仅使用了去标识化的 MIMIC-IV 数据,没有与参与者进行直接接触。因此,这次二次分析未获得书面或口头的知情同意。

利益冲突声明
作者声明没有利益冲突。

致谢
本工作部分得到了中国国家自然科学基金(项目编号 62102008、62202332、62376197、62020106004 和 92048301)、CCF-Tencent Rhino-Bird 开放研究基金(CCF-Tencent RAGR20250108)、天津市科学技术计划(项目编号 23JCYBJC00360)、陕西省重点研发计划(项目编号 2023-ZDLGY-48)以及天池精英青年博士计划(项目编号 CZ002701 和 CZ002707)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号