《PLOS Digital Health》:Large language models perpetuate bias in palliative care: Development and analysis of the Palliative Care Adversarial Dataset (PCAD)
编辑推荐:
姑息治疗中的偏见和不平等对边缘化群体影响尤为严重。大语言模型(LLMs),如GPT-4o,在提升护理质量方面具有潜力,但可能延续其训练数据中存在的偏见。本研究旨在系统评估GPT-4o是否通过对抗性设计的数据库在姑息治疗回答中传播偏见。2024年7月,研究人员使
姑息治疗中的偏见和不平等对边缘化群体影响尤为严重。大语言模型(LLMs),如GPT-4o,在提升护理质量方面具有潜力,但可能延续其训练数据中存在的偏见。本研究旨在系统评估GPT-4o是否通过对抗性设计的数据库在姑息治疗回答中传播偏见。2024年7月,研究人员使用姑息治疗对抗性数据集(PCAD)对GPT-4o进行探查,并由加拿大和英国的三名姑息治疗专家使用经过验证的偏见评估标准对回答进行评估。PCAD包含PCAD-Direct(100个对抗性问题)和PCAD-Counterfactual(84对反事实场景)。这些数据集针对四个护理维度(获取护理、疼痛管理、预先护理计划和死亡地点偏好)和三个身份轴线(种族、年龄和诊断)。相当大比例的回答检测到了偏见。对于对抗性问题,合并偏见率为0.33(95%置信区间[CI]:0.26,0.40);"允许偏见前提"是最常识别的偏见维度(0.47;95% CI:0.40,0.55),例如未能挑战刻板印象。对于反事实场景,合并偏见率为0.26(95% CI:0.20,0.32),"潜在扣留"是最常识别的偏见维度(0.25;95% CI:0.17,0.34),例如基于身份扣留干预措施。偏见率在护理维度和身份轴线上保持一致。GPT-4o具有在姑息治疗中延续偏见的潜力,对临床决策和平等性具有影响。PCAD数据集为评估和解决姑息治疗中大语言模型的偏见提供了新工具。
**论文解读:大语言模型在姑息治疗中的偏见延续——基于PCAD数据集的分析**
**研究背景与问题**
姑息治疗旨在改善严重疾病患者的生活质量,但现实中护理获取的不平等问题显著,尤其影响边缘化群体。年龄、种族、诊断等身份因素会影响患者接受的护理质量。大语言模型(LLMs)如GPT-4o在医学领域有应用前景,但其训练数据中的社会偏见可能被放大,进而影响临床决策。尽管已有研究关注LLMs在一般医学中的种族偏见,但在姑息治疗这一高度伦理敏感的领域,系统性偏见评估尚属空白。研究人员开发了姑息治疗对抗性数据集(PCAD),以评估GPT-4o在姑息治疗回答中是否延续身份相关偏见。该研究发表在《PLOS Digital Health》。
**研究方法概述**
研究团队构建了PCAD数据集,包含两部分:PCAD-Direct(100个对抗性问题,直接嵌入偏见前提)和PCAD-Counterfactual(84对反事实场景,仅改变患者身份属性)。数据集围绕四个护理维度(获取护理、疼痛管理、预先护理计划、死亡地点偏好)和三个身份轴线(种族、年龄、诊断)设计。2024年7月,使用GPT-4o(gpt-4o-2024-05-13,训练截止2023年10月)生成回答,采用贪婪解码(temperature=0)和标准前缀提示。三位来自加拿大和英国的姑息治疗专家使用Pfohl等人验证的偏见评估标准独立评分,分别针对对抗性问题(独立评估标准)和反事实问题(反事实评估标准)。统计分析包括合并偏见率、置信区间(Bootstrap法)、Kruskal-Wallis检验、Mann-Whitney U检验、Krippendorff’s α和Fleiss’ κ评估评分者间信度,并进行了语义和词汇重复性分析。
**研究结果**
**对抗性问题**
总体合并偏见率为0.33(95% CI: 0.26, 0.40)。最常见偏见维度是“允许偏见前提”(合并率0.47,95% CI: 0.40, 0.55),即未能挑战问题中的偏见假设。偏见率在护理维度和身份轴线上无显著差异(p>0.05)。在单轴线问题中,种族相关提问的偏见率最高。交叉性(多轴线)问题的合并偏见率为0.38,略高于单轴线(0.29),但未达统计学显著(p=0.18)。
**反事实问题**
91%的回答被认为理想情况下不应有差异。合并偏见率为0.26(95% CI: 0.20, 0.32),多数投票偏见率为0.15,任意投票偏见率达0.57。最常见偏见维度是“潜在扣留”(合并率0.25,95% CI: 0.17, 0.34),即基于身份建议扣留干预。偏见率在护理维度(最高为“死亡地点偏好”0.35)和身份轴线上一致,种族相关提问偏见率最高(0.34)。交叉性分析无显著差异(p=0.70)。
**评分者间信度**
基于Krippendorff’s α(<0.67)为“差”,Fleiss’ κ(≤0.40)为“轻微至一般”一致。对抗性问题评分一致性高于反事实问题。在反事实问题中,评分者对79.8%场景的“是否应无差异”达成一致,但校正后的一致率仍然很低(κ=0.15; α=0.16)。
**重复性分析**
GPT-4o在语义上高度重复:平均余弦相似度>0.95,平均绝对偏差(MAD)<0.02。原始回答与后续运行间的词汇重叠较低(BLUE-1均值0.550),但语义内容稳定。
**讨论与结论**
本研究首次系统评估了LLMs在姑息治疗中的身份相关偏见。结果表明,GPT-4o的回答中约有四分之一至超过一半存在偏见,具体取决于评估标准。对抗性问题中最常见的“允许偏见前提”和反事实问题中的“潜在扣留”反映了模型未能识别和拒绝偏见假设,或基于身份不恰当地扣留资源。这些偏见与临床医生中已知的偏见模式一致,但由于自动化偏见的可能,LLMs的输出可能在不经意间强化不平等。PCAD数据集为检测和缓解LLMs偏见提供了公开工具。研究局限性包括:仅测试单一模型(GPT-4o)、评分者间信度较低(可能反映个体差异或标准局限性)、未涵盖所有身份轴线和临床场景。未来研究应扩展至其他LLMs、调整提示策略,并纳入更广泛的评估者(包括患者)。
结论:本研究表明,LLMs具有在姑息治疗回答中延续身份相关偏见的潜力,对临床决策和健康公平具有重要影响。通过开发PCAD数据集,研究人员在多个护理维度和身份轴线上识别了持续存在的偏见。这些数据集已公开,鼓励研究者将其应用于其他LLMs及不同实验设置,以追踪偏见随架构和对齐策略的演变。研究结果强调需紧急解决LLMs生成回答中的偏见,以确保所有患者获得公平护理。