人工智能生成健康建议信任度量表(TAIGHA)及简版(TAIGHA-S)的开发与验证研究

《PLOS Digital Health》:The trust in AI-generated health advice (TAIGHA) scale and short version (TAIGHA-S): Development and validation study

【字体: 大 中 小 】 时间:2026年07月03日 来源:PLOS Digital Health 7.7

编辑推荐:

  大语言模型(LLM)等人工智能(AI)工具正日益被公众用于获取健康信息并支持健康相关决策。由于此类使用涉及建议采纳,遵循或拒绝人工智能生成的建议可能对临床安全及医疗系统产生直接影响。尽管信任在用户采纳健康相关人工智能建议中发挥重要作用,现有工具仅评估对通用技术

  
大语言模型(LLM)等人工智能(AI)工具正日益被公众用于获取健康信息并支持健康相关决策。由于此类使用涉及建议采纳,遵循或拒绝人工智能生成的建议可能对临床安全及医疗系统产生直接影响。尽管信任在用户采纳健康相关人工智能建议中发挥重要作用,现有工具仅评估对通用技术的信任及对可信赖性(trustworthiness)的感知。目前尚无经过验证的、专门测量用户对人工智能生成健康建议状态信任(state trust)的工具,也缺乏可替代自设单题项量表的方案。

本研究旨在开发并验证人工智能生成健康建议信任度量表(TAIGHA)及其四题简版(TAIGHA-S),作为基于理论、分别测量对人工智能生成健康建议的信任与不信任的问卷。研究人员采用生成式人工智能方法,依据现有理论生成针对特定用例的候选题项,每个题项均包含认知(cognitive)与情感(affective)成分。自动验证后,研究人员分三步进行人工验证:(i)由10位领域专家进行内容验证(content validation),(ii)由30位非专业人士进行表面验证(face validation),(iii)对385名英国参与者进行心理测量学验证(psychometric validation),这些参与者在接受症状评估的人工智能生成健康建议后填写量表。经过自动题项精简,保留28个题项,并依据专家评分进一步精简为10个。最终版TAIGHA量表具有优秀的内容效度(S-CVI/Ave = 0.99)和表面效度(S-FVI/Ave = 0.99)。验证性因子分析(CFA)确认双因子模型拟合良好(比较拟合指数(CFI) = 0.98,Tucker-Lewis指数(TLI) = 0.98,标准化均方根残差(SRMR) = 0.03)。内部一致性高(信任分量表 Cronbach's α = 0.94、McDonald's ω = 0.94;不信任分量表 α = 0.93、ω = 0.93)。简版与完整量表高度相关(r = 0.96),并显示出良好信度(信任分量表 α = 0.88、ω = 0.89;不信任分量表 α = 0.84、ω = 0.85)。TAIGHA与TAIGHA-S是用于评估用户对人工智能生成健康建议状态信任与不信任的经过验证的工具,具有优秀的心理测量学属性,且与依赖(reliance)的相关性强于现有通用信任量表。
研究背景、问题与研究目的
大语言模型(LLM)等生成式人工智能工具日益被公众用于获取健康信息,采纳或拒绝其建议可能带来个人临床风险与医疗系统影响。尽管信任影响用户是否遵循人工智能建议,现有量表多测量对通用技术的信任或对系统可信赖性(trustworthiness)的感知,缺乏专门测量用户对单条人工智能生成健康建议状态信任(state trust)的工具;应用研究中常见的自编单题项量表也未经心理测量学验证。为此,本研究基于McAllister信任理论——区分认知信任(cognitive trust)与情感信任(affective trust)——及信任/不信任双维度假说,开发并验证“人工智能生成健康建议信任度量表(TAIGHA)”及其四题简版(TAIGHA-S)。该论文发表于《PLOS Digital Health》。

主要技术与方法
研究人员采用AI-GENIE生成式心理测量方法:以GPT-4.1生成初始题项,利用OpenAI text-embedding-3-small嵌入、探索性图分析(exploratory graph analysis)、归一化互信息(NMI)及自助法筛选稳定题项;随后经10位领域专家内容效度、30位普通用户表面效度评定,并通过Prolific招募385名英国成年人在症状分诊情境中完成验证,采用验证性因子分析(CFA)、Cronbach's α与McDonald's ω评估结构、信度与效度。

研究结果
样本特征:内容验证纳入10位医学、人机交互、心理学及人工智能领域专家;表面验证纳入30名性别均衡的英国普通成人(平均年龄41岁);心理测量验证最终纳入385名通过注意力检查的英国参与者。

题项生成与精简:AI-GENIE最初生成60题,归一化互信息(NMI)为90.6%,稳定性差;自动精简后保留28题,NMI达100%,稳定性为81%–100%。

内容与表面效度:内容验证中,8题因内容效度指数(CVI-I)低于0.8被删除;进一步保守删除CVI-I为0.8的题项后,S-CVI/Ave = 0.99,S-CVI/UA = 0.90。保留题项的表面效度指数(FVI-I)为0.7–1.0,S-FVI/Ave = 0.99,S-FVI/UA = 0.80。

聚合与区分效度:信任与不信任分量表与“Trust in Automated Systems Survey”高度相关(r = 0.67与?0.66),与技术信任倾向量表呈中高度相关(r = 0.53与?0.46);与阅读流畅性、一般自我效能感及NASA任务负荷指数(NASA-TLX)的相关均较低(最高0.25)。

效标效度:在初始判断与AI建议不一致的146名参与者中,信任分量表与依赖行为(向AI建议转变分诊决策)呈中度相关(r = 0.35),不信任分量表相关较低(r = ?0.19),且前者优于通用技术信任量表。

验证性因子分析:双因子模型拟合优秀(n = 382,CFI = 0.98,TLI = 0.98,SRMR = 0.03,近似均方根误差(RMSEA) = 0.07),信任与不信任高度相关但可区分(r = ?0.84);单因子模型拟合显著更差(Δχ2(1) = 125.27,p < 0.001)。

信度:总量表内部一致性极佳(α = 0.95、ω = 0.96);信任与不信任分量表分别为α = 0.94、ω = 0.94和α = 0.93、ω = 0.93。

简版量表:TAIGHA-S由信任分量表第4、5题及不信任分量表第2、4题组成,与完整版高度相关;验证性因子分析拟合良好(n = 383,因子载荷0.84–0.90),总量表α = 0.88、ω = 0.93。

讨论
TAIGHA与TAIGHA-S填补了人工智能生成健康建议状态信任的测量空白,且较通用技术信任量表更能预测实际依赖行为,提示情境特异性量表在解释用户行为方面更具优势。理论上,量表区分“信任”与“不信任”两个互补维度,并同时测量认知与情感成分,支持干预可能分别作用于两维度:例如提供不确定性说明或来源引用可能降低不信任却不一定提升信任;使建议显得更个性化或令人安心可能提高信任却不一定减少安全顾虑。方法学上,AI-GENIE加速了题项生成,但专家内容验证仍不可或缺,因为大语言模型输出可变且可能偏离理论。

实践层面,TAIGHA可作为面向公众的人工智能健康工具评估的结局指标,TAIGHA-S适合作为次要结局快速测量,可替代自编单题项量表。分别报告信任与不信任有助于安全评估:当用户过度依赖低质量建议或拒绝高质量建议时,可判断是信任过高、不信任过高或两者兼具,从而指导干预设计。

研究存在以下局限:英国在线样本可能技术接受度与健康素养偏高,并出现天花板效应;未进行跨文化与语言验证及差异题项功能(DIF)分析;仅在单次暴露下测量状态信任,未评估长期使用的信任校准;依赖行为仅通过分诊决策转变操作化,未涵盖信息核实等更隐蔽的依赖形式;场景虽基于真实病例并经先前研究验证,但毕竟非真实临床情境;研究未预注册。

研究结论
本研究介绍并验证了TAIGHA量表及其四题简版TAIGHA-S,用于评估用户对人工智能生成健康建议的信任与不信任。两种工具均表现出优秀的心理测量学特性,且与依赖行为的相关性强于通用技术信任量表,显示出在健康建议情境中的附加价值。TAIGHA与TAIGHA-S可作为评估面向公众及潜在临床人员的人工智能系统的结局指标;独立报告信任与不信任有助于识别某干预是提高用户对人工智能建议的接受度、降低其排斥感,还是同时产生两方面效果。总体而言,TAIGHA量表体系提供了一种基于理论、针对具体使用情境的状态信任测量方法,有助于识别人们在何种情况下会接受或拒绝人工智能生成的健康建议。未来研究应将其翻译成多种语言,并在前瞻性真实世界和临床研究中加以验证,以考察其对患者实际行为的预测作用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号