《Medical Teacher》:Teaching on demand: Exploring the role of AI in medical education podcasts
编辑推荐:
引言:人工智能(AI)生成的教育内容有望促进可扩展的医学教育,但比较 AI 与临床医生制作播客的证据仍有限。研究人员调查了 AI 生成播客能否达到与临床医生录制播客相当的学生满意度,从而在不加重临床教育者负担的情况下扩大课程覆盖,并探讨学生对 AI 生成播客的
引言:人工智能(AI)生成的教育内容有望促进可扩展的医学教育,但比较 AI 与临床医生制作播客的证据仍有限。研究人员调查了 AI 生成播客能否达到与临床医生录制播客相当的学生满意度,从而在不加重临床教育者负担的情况下扩大课程覆盖,并探讨学生对 AI 生成播客的态度。
方法:医学生被随机分为两组,第1组接受关于1型糖尿病(T1DM)的临床医生制作播客和关于2型糖尿病(T2DM)的 AI 生成播客。第2组接受关于 T1DM 的 AI 生成播客和关于 T2DM 的临床医生制作播客。学生对播客类型设盲。结局指标包括学生满意度(采用教育播客学生满意度问卷(SSEQ)测量)以及采用开放式调查评估的学生对 AI 的态度。应用 Bonferroni 校正(α = 0.025)。
结果:178名学生参与本研究(第1组 n = 93,第2组 n = 85)。平均 SSEQ 评分(满分50,以均值±标准差(SD)表示)显示,临床医生与 AI 播客在 T1DM 或 T2DM 中无显著差异(T1DM:35.8 ± 6.80 对 34.6 ± 7.19,p = 0.3025;T2DM:33.2 ± 7.50 对 35.5 ± 6.88,p = 0.0513)。在态度调查(n = 165)中,56%报告制作方法重要,认为声音、讲者参与度和伦理担忧是 AI 播客的主要问题。
讨论:AI 生成播客达到不劣于临床医生录制播客的满意度。然而,学生对人类教学的心理偏好和对 AI 的负面认知构成可扩展获益的障碍,因此需要努力建立信任和可接受性。
关键词:医学教育;播客;生成式人工智能(generative AI)。
实践要点:AI 生成播客可达到与临床医生制作播客相似的学习者满意度。成功采用需要关注学习者信任、真实性和参与度。临床医生审核对于确保准确性和相关性很重要。
论文解读:按需教学——探索 AI 在医学教育播客中的作用
该论文作者包括 Payal Guha、Oscar L. Oglina、Celia A. Brown、Courtney Krstic、Chukwuma Uduku、Layla Thurston、Risheka Walls、Amir H. Sam。
研究背景与问题:过去十年,数字技术日益融入医学教育,作为传统教学的补充。研究人员关注学生如何回应不同学习方式,并认识到同一教育环境中个体学习过程的深度和质量存在差异。播客尤其受欢迎,具有灵活性、可及性,并能在低强度环境中强化学习。基于多媒体学习原则(multimedia principles of learning),播客可满足多种学习模态偏好;根据自我决定理论(self-determination theory),愉快和满意的播客可增强学习者动机,可能关联更好学业表现。与此同时,人工智能(AI,artificial intelligence)模型,尤其能处理和生成内容的大语言模型(large language models),迅速发展为改变医学教育的工具,但专门比较 AI 生成医学播客与临床医生播客的研究仍少。技术接受模型(TAM,technology acceptance model)强调,无论客观教学质量如何,学习者对教学设计的感知有用性、易用性和态度决定其是否采用新工具。因此,研究旨在比较 AI 生成与临床医生交付播客,主要目的为:检查学生对 AI 生成和临床医生生成播客的满意度;获取医学生对在医学教育内容生成中使用 AI 的定性反馈。
主要关键技术方法:研究为单中心、平行组、随机、盲法非劣效性(non-inferiority)试验,样本来自 Imperial College London 三年级医学生(331人受邀,214人参加面对面教学,最终178人纳入)。学生随机交叉接受1型糖尿病(T
1DM,type 1 diabetes mellitus)与2型糖尿病(T
2DM,type 2 diabetes mellitus)的 AI 或临床医生播客,并对来源设盲。满意度用教育播客学生满意度问卷(SSEQ,Student Satisfaction with Educational Podcasts Questionnaire)测量,态度用开放式调查,定性资料采用主题分析(thematic analysis)。AI 播客由 Eleven Labs 平台生成,基于 NICE(National Institute for Health and Care Excellence)和 Clinical Knowledge Summaries(CKS)指南,经三名顾问内分泌科医生审核;临床医生播客由顾问录制。统计采用先验功效分析、Bonferroni 校正(Bonferroni correction)和 GraphPad Prism v10.0。
研究结果:
Student satisfaction with educational podcasts questionnaire(教育播客学生满意度问卷)
通过随机盲法试验比较 AI 生成与临床医生制作播客的 SSEQ 评分,研究发现总体满意度无显著差异。以下为均数±标准差(SD,standard deviation)。Group 1 93人,Group 2 85人;完整满意度数据分别来自73和77人。T
1DM 中,AI 播客 34.6 ± 7.19 对临床医生播客 35.8 ± 6.80,p = 0.3025;T
2DM 中,AI 播客 35.5 ± 6.88 对临床医生播客 33.2 ± 7.50,p = 0.0513。单项分析显示,除“播客所包含信息具有学术严谨性”一项 AI 生成播客评分显著更高外,其余条目均无显著差异。
Student opinions(学生意见)
通过教学结束后的调查,165名学生回应是否在意播客由顾问录制还是 AI 生成并经顾问检查。56%认为制作方法重要,30%不关心,14%不确定。主题分析识别出以下主题。
Voice(声音):少数学生担心 AI 声音更单调、机械化,可能失去注意力;少数认为 AI 声音可更简洁、语速更好、更易理解。
Engagement(参与度):AI 播客普遍被认为参与度较低,学生认为人类比 AI 更个人化、更有参与感。
Content(内容):学生重视顾问的轶事和经验,认为 AI 内容可能相关性较低或更易包含过多信息。
Accuracy(准确性):多数学生表示,若经顾问检查或更新,AI 生成播客可接受;一些认为 AI 也可能更准确,因其使用最新资源。
Time cost(时间成本):少数学生提到节省顾问时间,以及可在更短时间内制作更多播客。
Teaching style(教学风格):学生偏好提供播客文字稿。
General AI thoughts(一般 AI 想法):包括道德反对、环境担忧和普遍不喜欢 AI;有学生表示付费期待真实医生教学,或认为 AI 发展不道德、高数据处理需求长期不可持续。
原文列举学生评论,如“如果是明显机械声音我会失去注意力”(Student 3, Group 2)、“我可以自己做 AI 播客”(Student 68, Group 1)、“为真实医生和真实经验付学费”(Student 63, Group 1)、“AI 发展不道德,高数据处理需求长期不可持续”(Student 24, Group 2)。
讨论部分总结:讨论指出,该随机盲法试验未发现 AI 生成与临床医生生成播客总体满意度显著差异,与其他 AI 学习媒介(包括 AI 教学视频)研究一致。但学生仍表现出对 AI 的认知失调(cognitive dissonance)态度,并偏好人类临床医生教学;超过半数认为制作方法重要,符合 TAM,即感知有用性和态度会超越客观等效性影响采用。AI 被感知为“机器人式”是外在负面因素,缺乏人类存在可能降低信任和与学习材料的连接。尽管文献显示区分 AI 与人类生成声音和文本可能困难,但对真实性或声音分心的怀疑可能导致学生不喜欢材料或注意力偏离内容。学生认为 AI 信息不能完全信任、可能错误,反映大语言模型幻觉(hallucination)问题;一项观察研究发现 ChatGPT 生成医学内容中47%参考文献为捏造,结构化提示策略与更低幻觉率相关。本研究通过顾问审核避免幻觉,未发现错误信息,但作者承认人类审核仍是过程一部分。临床沟通教学研究强调学生重视反映真实临床实践的学习;临床医生提供临床经验和知识,叙事可影响学生对临床概念的感知,但临床医生主导教学可能结构一致性较低。本研究中 AI 生成播客被感知为更学术严谨,可能反映其更严格和结构化格式。学生担忧 AI 替代核心临床和临床医生主导教学带来的伦理和环境问题,与英国高等教育研究中学生关注抄袭、数据隐私和大学缺乏明确指导相呼应;也有 Google 的 DeepMind 实现数据中心冷却能耗降低40%等策略。累积态度可用认知失调理论(cognitive dissonance theory)解释,学习者信念或价值与新实践冲突时产生心理不适,可能通过贬低体验来应对,即使经验证有效。未来研究可探索更自然 AI 声音或混合格式。优势包括大样本、盲法、混合方法、先验功效计算和 Bonferroni 校正。局限包括单中心设计;约16%参加教学学生未听播客且原因未探索,存在选择偏倚风险;SSEQ 评分提示临床医生播客可能不是高参与基准;成本和时间益处未正式调查;未纳入知识获取作为指标。未来应多中心随机、记录未参与原因、提醒、无播客组、更专业制作播客比较、前瞻测量时间和成本,并纳入知识获取。
研究结论翻译:本研究结果支持以下理论:AI 生成播客可实现与临床医生录制播客相比的不劣效满意度结局。然而,学生对临床医生教学的心理偏好提示,尽管客观等效,负面态度可能限制参与;如果以这种方式整合 AI,需要进一步工作以建立信任并激励学生在没有这些担忧的情况下使用工具。如果学习者因这些认知而回避 AI 播客,可扩展获益可能无法实现,因此需要努力建立信任和可接受性。