《Advances in Simulation》:How does AI-generated assessment compare to expert assessment in simulation-based experiences: Analyzing AI-human interrater reliability
编辑推荐:
背景:在健康专业中,人工智能模拟体验(AI-SBEs, artificial intelligence simulation-based experiences)越来越多地用于评估学习者表现并提供反馈。AI-SBEs 的益处包括提供即时反馈、允许比传统方法可行
背景:在健康专业中,人工智能模拟体验(AI-SBEs, artificial intelligence simulation-based experiences)越来越多地用于评估学习者表现并提供反馈。AI-SBEs 的益处包括提供即时反馈、允许比传统方法可行的更多练习机会以及减少教育者负担。然而,校准 AI 反馈的方法尚不成熟。方法:本研究评估了基于生成式人工智能的软件程序(SimConverse)在使用体重敏感性量表(WSI, Weight Sensitivity Instrument)评估模拟患者互动时提供的反馈;WSI 是用于评估学习者体重偏见相关临床行为的清单。研究采用双阶段评分者间信度(IRR, interrater reliability)方法。首先,迭代提示工程(prompt engineering)由 AI-人类 IRR 结果指导。四位作者和四位志愿者在 SimConverse 中生成 31 次互动。互动转录文本被下载,另一位具有 WSI 专业知识的作者手动审查并评分转录文本。计算百分比一致性(percent agreement)和 Gwet’s AC1 以比较 AI 与专家评估,研究团队审查反馈陈述和一致性统计以识别需要修订的评分标准说明。在修订 SimConverse 中的评分标准后,四位作者又生成 10 次额外 SBE 互动。专家和 AI 评估被探索。在第二阶段,AI-SBE 在一项更大干预研究中与 60 名医学生进行试点。随机抽取 30 份学生转录文本评估 AI-人类 IRR,并审查学生对 AI-SBE 的评论。结果:在 11 个 WSI 条目中,专家与 AI 的一致性在所有轮次中对 7 个条目持续为良好或非常好(Gwet’s AC1=0.71 及以上)。一个条目最初显示较差一致性(Gwet’s AC1=0.56),但在提示工程后改善(最终 Gwet’s AC1=0.89)。改善的条目评估学生是否做出具体陈述(询问减重是否为优先事项)。另外三个条目持续较差一致性(最终 Gwet’s AC1=0.42、0.66、0.64)。这些条目需要对转录文本进行更广泛的语境评估。大多数学生对 AI-SBE 的开放式反应是积极的。结论:研究结果表明,AI-SBEs 中的 AI 评分和反馈需要迭代提示工程和教育者/研究人员指导。调整对内容特异性条目比语境依赖条目更成功。未来工作可以探索提示细化的最佳实践,特别是对更复杂和语境依赖的评分标准条目。
研究背景与问题:在健康专业教育中,人工智能模拟体验(AI-SBEs, artificial intelligence simulation-based experiences)被用于让学习者与 AI 聊天机器人患者互动,并依据预先设定的评分标准(rubric)获得 AI 生成反馈。AI-SBEs 可提供即时反馈、增加练习机会、减少教育者和标准化病人(SP, standardized patient)负担,也可作为研究数据以减少评分时间。但 AI 可能产生错误或误导性评估,错误及其引发的不信任可能损害学习,并影响 AI 生成反馈和分数的信度与效度。已有研究如 Holderried and colleagues 比较 AI-人类评分者间信度(IRR, interrater reliability),发现总体一致性良好但部分条目较差;Ting and Wolffsohn 比较不同 AI-SBE 系统与真人 SP;Wang and colleagues 使用提示工程(prompt engineering)改善 ChatGPT 生成的标准化病人。然而,文献仍缺乏校准 AI 反馈的整合最佳实践,尤其缺少迭代过程细节。关键未决问题是 AI 能否像人类评分者一样细致、一致地应用评估评分标准,尤其当条目在复杂性、敏感性和所需人际判断上不同时。因此,研究人员描述一个在商业 AI-SBE 程序 SimConverse 中准备和评估 AI 生成评分与反馈的整体过程,结合提示工程、AI-人类 IRR 和学习者体验。
研究开展、结论与意义:研究人员采用双阶段方法。第一阶段进行提示工程,第二阶段在学生中试点。评分工具为修改版体重敏感性量表(WSI, Weight Sensitivity Instrument),原 20 项用于传统面对面 SBE,含沟通、心理安全和体格评估领域;因 AI-SBE 纯对话,排除 7 个体格评估项和 2 个涉及称重与非言语行为项,保留 11 项。SimConverse 使用专有自研大语言模型(LLMs, Large Language Models)。第一阶段中,4 位作者和 4 位志愿者生成 31 次互动,另一位具 WSI 评分专长的作者在盲态下人工评分,计算百分比一致性和 Gwet’s AC
1,并审查反馈以修订评分标准说明和患者角色;随后 4 位作者再生成 10 次互动测试修订。第二阶段,在一项单臂体重敏感性干预研究中,单所医学院 78 名医学生受邀在跨专业教育(IPE, Interprofessional Education)课程前后使用 AI-SBE,60 名参与,共 122 次互动;随机抽取 30 份转录,由同一专家盲态评分,再次计算 AI-人类 IRR 并审查学生开放式评论。研究结论是 AI 评分和反馈需要迭代提示工程及教育者/研究人员指导;内容特异性条目比语境依赖条目更易调整;初步结果支持将 AI 反馈作为更广泛评估过程的一部分,而非替代人类判断。意义在于提供可操作的 AI-SBE 校准流程,强调逐条目识别 AI 可靠与不可靠评估能力,并为未来提示细化、纵向研究和与传统 SBE 比较提供方向。
关键技术方法(不超过250字):研究采用两阶段 AI-人类 IRR 校准。使用修改版 WSI 11 项作为评分标准,在 SimConverse 中创建女性超重模拟患者。第一阶段:4 位作者和 4 位志愿者生成 31 次互动,专家盲态人工评分,计算百分比一致性和 Gwet’s AC
1,迭代修订 rubric 提示和患者角色;再生成 10 次互动验证。第二阶段:作为单臂体重敏感性干预的一部分,单所医学院 78 名医学生受邀,60 名参与,共 122 次 SimConverse 互动;随机抽取 30 份转录,同一专家盲态评分,计算 AI-人类 IRR,并定性编码学生开放式评论。遵循 GRRAS,使用 StataSE 19 和 R 包 irrCAC。样本来源为单所医学院医学生,IRB 批准且仅收集同意者数据。
研究结果:Phase 1:提示工程(prompt engineering)。第一轮 11 项中 8 项 AI-人类一致性非常好,Gwet’s AC
1 高于 0.81;3 项为中等一致性,百分比一致性分别为 74%、71%、68%,AC
1 为 0.56、0.50、0.50,且 AI 阳性评分比例高于人类。团队审查转录和 AI 反馈后增加更详细说明。例如条目 8“承认管理体重的复杂性”,AI 最初对 80.7% 转录中任何一般性行为挑战承认均给分,而人类评分者仅 58.1%。修订后,4 位作者再生成 10 次互动,3 个目标条目一致性提高,百分比一致性为 90%、90%、80%,AC
1 为 0.80、0.80、0.62。条目 3“接受患者关于讨论体重的偏好”一致性下降,从第一轮 AC
1=0.83 降至第二轮 0.52,可能与患者角色更不愿讨论体重有关;AI 给 90% 转录给分,而人类为 60%。团队随后修订 rubric,明确仅在学习者寻求患者允许讨论体重并尊重其请求时给分。Phase 2:学生试点(piloting with students)。78 名受邀医学生中 60 名参与,共 122 次互动;2 名学生完成 1 次,56 名完成 2 次,2 名完成超过 2 次。随机 30 份学生 AI-SBE 中,7 项 AI-人类 IRR 非常好(AC
1=0.81–1.0),3 项良好(0.61–0.80),1 项中等(0.41–0.6)。第一阶段目标条目中,条目 8 和 9 在试点中为良好(AC
1=0.66、0.64),条目 7 改善为非常好(AC
1=0.89);条目 3 仍为中等(AC
1=0.42),AI 比人类更常给分(66.7% vs 50%),即使提示更具体和限制。学生评论中,28%(n=17)使用 SimConverse 的学生提到 AI;59%(n=10)为积极陈述,报告 AI-SBE 有助于学习或对 AI 印象深刻;41%(n=7)为批评,包括希望更多说明、希望多种模拟患者、技术困难、反馈或模拟患者不真实。
讨论部分总结:研究人员认为,AI-SBE 用于教育和研究时,应迭代测试并对照人类专家反馈校准 AI 生成评分和反馈。AI 常将宽泛或表面陈述视为足够,而人类评分者寻找具体、语境适当的体重敏感沟通行为,因此需要更细致明确的说明。患者角色参数改变可能影响至少一个条目的一致性。AI-人类一致性因 WSI 条目类型显著变化:识别具体、具体行为的条目一致性较高,需要更广泛语境解释或对患者偏好敏感的条目一致性较低。这与 Holderried and colleagues 关于提示特异性不足的推测、Wang and colleagues 关于 AI-SBEs 需持续改进的观点一致,也支持 Corbin and colleagues 关于 AI 更适合信息性和表面个人化反馈的论点。对持续低一致性条目,差异可能反映评估体重偏见的固有挑战而非量表缺陷;这些条目更适合作为讨论和反思的优先领域,而非明确评分指标。AI 生成反馈最好作为更广泛评估过程的一部分,作为小组讨论和学习者反思的起点。学生倾向认为 AI 反馈比教师反馈风险低,有利于低风险练习敏感话题;但真实性和现实感低可能负面影响效果,可通过提示工程调整,不过本研究未探索。局限性包括样本小、置信区间宽、相同作者参与生成互动和修订 rubric、两阶段参与者能力差异、专有 SimConverse、单一 WSI、单一患者角色,以及普遍性受限。Lee and Moore 和 Alghamdi and Alghizzi 的工作强调教育者在提示工程中的角色,AI 反馈不取代教师判断,教师需主动塑造 AI 反馈及其教育整合。结论翻译:研究发现表明,在 AI-SBEs 中利用 AI 评分和反馈需要迭代提示工程和教育者/研究人员指导。未来工作可以探索提示细化的最佳实践,特别是对更复杂和语境依赖的评分标准条目。需要对 AI-SBE 经验中反馈影响的纵向研究。虽然初步发现是有希望的,未来研究应比较 AI-SBEs 与传统 SBEs 的学生学习结果,以及向临床实践的转化。