AI推荐谁做医生?大型语言模型辅助医生选择中基于声誉和姓名的人口统计学信号算法审计
《International Journal of Medical Informatics》:Whose doctor does the AI recommend? An algorithm audit of reputation and name-based demographic signals in large language model–assisted physician choice
【字体:
大
中
小
】
时间:2026年10月10日
来源:International Journal of Medical Informatics 5.0
编辑推荐:
摘要
背景
患者越来越多地向大语言模型(LLM)助手询问应该看哪位医生。现有的审计观察到的是真实的、相关性的医生档案,因此无法隔离出驱动这些推荐的因素。
目标
在受控任务中,估计声誉信号、费用、列表位置和暗示性别及族裔的姓名如何影响LLM的医生推荐。
方法
采用预
摘要
背景
患者越来越多地向大语言模型(LLM)助手询问应该看哪位医生。现有的审计观察到的是真实的、相关性的医生档案,因此无法隔离出驱动这些推荐的因素。
目标
在受控任务中,估计声誉信号、费用、列表位置和暗示性别及族裔的姓名如何影响LLM的医生推荐。
方法
采用预先指定的随机选择型联合分析审计。七种LLM(六种小型开源权重模型和gpt-4o-mini)各自从五张综合家庭医学医生卡片中选择一张,卡片属性独立随机分配(3024组选择集;三种用户角色;九种提示词;八个次要组)。性别和族裔仅通过姓名暗示。使用选择集聚类的线性概率模型估计各模型及汇总后的平均边际成分效应(AMCE)。
结果
在40,068次响应中,评分从3.9升至4.7使选择概率提高了31.4个百分点(pp;95%置信区间30.5–32.3),而费用从$90升至$190则使其降低了20.0 pp(19.1–21.0)。汇总后,暗示女性的姓名比暗示男性的姓名被选中的比例高2.5 pp(1.8–3.2),暗示西班牙裔和南亚裔的姓名比暗示白人姓名的比例高2.8–2.9 pp;当以姓名为推断单位时这些结果依然成立,但暗示黑人姓名的估计值(1.3 pp)则不成立。同类别内的特定姓名存在差异(安慰剂效应),姓名暗示效应在各模型间显著不同(暗示女性姓名:从X pp到Y pp;gpt-4o-mini X pp,CI X–1.8)。列表中最后一张卡片损失了6.2 pp的选择概率。在模型陈述的理由中,仅有0.03%提及了性别或族裔。
结论
在本研究的面板中,推荐结果主要由评分和费用驱动,但同时以模型特定的方式对模型解释中未提及的姓名暗示和列表位置做出了响应。这些受控任务中的差异不是对现实世界中医疗可及性的估计,它们呼吁对每个模型版本进行行为审计。相关资料将公开以供重复审计。
引言
患者越来越多地向大语言模型(LLM)助手咨询应该看哪位医生[1],这为长期受评分、费用和资质塑造的选择过程增加了一个新的中介环节[8], [11]。当助手被问及"我应该预约这些医生中的哪一位?"时,它将多属性比较压缩为一条推荐,而它对星级评分、费用或医生姓名所赋予的权重对患者而言是不可见的。此类助手充当AI信息中介:即中介一个人对其他人的选择算法。
现有的聊天机器人医生推荐审计属于描述性研究:模型提及的是真实医生,其属性相互关联,因此无法将评分的影响与姓名的影响分离开来[13]。医疗领域的算法公平性研究大多关注模型如何对待患者[12], [18],而非模型如何响应关于医生的暗示线索。
我们报告了一项预先指定的算法审计[15],其建立在随机化选择型联合分析[10]之上。七种LLM反复从五张综合医生卡片中进行选择,卡片的名誉属性、费用、列表位置和姓名独立随机分配。姓名来自为暗示性别和族裔而选定的姓名池[4],这些身份从未被明确陈述。随机化确定了各审计模型和刺激条件下每种信号的平均边际成分效应(AMCE);对于姓名,它确定的是这些姓名暗示线索的效应,而非医生实际性别或族裔的效应。
我们做出四点贡献:(1) 针对七模型面板的因果信号权重,包含逐模型估计和模型间异质性检验;(2) 按费用缩放的权衡指数,并附带提醒不要将其解读为支付意愿;(3) 姓名暗示性别和族裔的平行性检验,设定了预先指定的等价界限,并分析了其对所用特定姓名的依赖性;(4) 模型在其理由中引用的因素与其选择所揭示权重之间的对比。由于设计已冻结并哈希处理,未来任何模型均可针对相同刺激条件进行审计;一项使用相同锚定水平的同行旅行领域审计也采用了相同方法[2]。
章节摘要
在线声誉与医生选择
评分的正面性和数量会影响患者陈述的提供者选择[8],在随机化联合分析中,患者选择高评分医生的频率显著更高[17]。如果LLM已吸收这些规律,评分应占主导地位,其次是价格,次要信号为正但较小。假设H1–H8认为较高的评分(H1)、更多的评论数(H2)、近期的评论(H3)、对反馈的回应(H4)、大学附属医院隶属关系(H5)、较低的费用(H6)、远程医疗(H7),
设计概述
每次试验向一种模型呈现一个用户角色、一个提示词和五张综合家庭医学医生卡片,并要求其推荐一位(图1)。专业认证、是否接收新患者和距离保持不变;每张卡片的八个属性独立均匀变化:评分(3.9、4.3、4.7)、评论数量(12、85、400)、最新评论时间(3天或11个月前)、对反馈的回应、大学附属医院隶属关系、新患者费用($90、$140、$190)、远程医疗,
数据质量与操作检验
该面板共产生40,068次有效响应。gpt-4o-mini的解析失败率为0%,几乎所有模型-组别的失败率均低于2%,例外是Mistral的重测组(32.0%)和top-3组(14.1%)(补充表S9)。DeepSeek-R1:7b的推理文本耗尽了固定的输出预算(100%解析失败),这是该协议的局限性,而非推理模型无法被审计的证据。在五倍重复中,模型重复其众数选择的比例为73–99%(表S10)。
什么在影响推荐
主要发现
在受控的医生选择任务中,审计模型的推荐结果主要由评分和价格驱动,其顺序与人类医生选择联合分析一致[17],但更为陡峭。在汇总面板中,暗示女性、西班牙裔和南亚裔的姓名被选中的比例高出两到三个百分点,这些效应在模型间差异显著且部分取决于所用姓名,选择还对列表位置做出了响应。这些效应均未出现在模型简要陈述的
汇总表
该主题上已知的事实:
• 患者越来越多地使用在线评分和AI助手来选择医生
• 已证明LLM在临床决策中会传播种族和性别偏见
• 现有的AI医生推荐审计属于描述性的,无法识别因果关系
本研究新增的知识:
• 一项预先指定的随机化联合分析审计识别了七模型LLM面板在受控任务中驱动医生推荐的因素
• 评分和费用
CRediT作者贡献声明
Syeda Anshrah Gillani:撰写 – 审阅与编辑,撰写 – 初稿,可视化,验证,指导,软件,资源,项目管理,方法论,调查,经费获取,正式分析,数据整理,概念构思。Mirza Samad Ahmed Baig:撰写 – 审阅与编辑,撰写 – 初稿,可视化,验证,软件,资源,项目管理,方法论,调查,经费获取,正式分析,数据整理,
关于写作过程中生成式AI和AI辅助技术的声明
大语言模型是本研究的对象:所有进入分析的模型输出均按照第3节所述的预先指定审计协议收集。此外,作者在作者指导下使用了一款AI编程助手(Claude,Anthropic)来协助实现实验流程和分析代码、实现审稿人要求的分析,并协助起草和编辑稿件以及对审稿人意见的回复。一个数据集横跨这两种角色。
资金支持
本研究未获得任何公共、商业或非营利部门的专门资助。
利益冲突声明
作者声明没有已知的可能影响本文所述工作的竞争性财务利益或个人关系。
致谢
我们感谢两位审稿人,他们的意见大大改进了分析及对其的解读。
Syeda Anshrah Gillani | Mirza Samad Ahmed Baig
海德堡大学,海德堡,德国
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号