《Journal of Surgical Education》:The Use of AI Software in Reviewing Applicants for General Surgery Residency
编辑推荐:
•AI 软件可以通过提供一致且可重复的数值评分来协助住院医师申请审核。•AI 软件可以通过减少面试委员会成员需要审核的申请数量来提高整体审核流程的效率。•在确定项目匹配度和评估定性变量方面,人类审核委员会成员是不可替代的。章节摘要引言每年近 100% 的类别式普通外科住院医师
- •
AI 软件可以通过提供一致且可重复的数值评分来协助住院医师申请审核。
- •
AI 软件可以通过减少面试委员会成员需要审核的申请数量来提高整体审核流程的效率。
- •
在确定项目匹配度和评估定性变量方面,人类审核委员会成员是不可替代的。
章节摘要
引言
每年近 100% 的类别式普通外科住院医师名额都会被填满,申请过程也变得越来越竞争激烈。1,2 项目收到的申请数量相对于可用的住院医师名额来说非常高,比例平均约为 100:1。3, 4, 5, 6 因此,项目必须使用各种指标来评估庞大的申请人池,以筛选出面试候选人,包括定量指标(学业成绩、标准化考试)和定性
方法
在 2026 申请周期中申请亚利桑那大学凤凰城综合外科住院医师培训项目的医学生被纳入研究。所有申请人均经过标准的委员会审核以选择邀请面试,并使用 AI 软件进行独立评估。本研究已获伦理审查豁免(UAID: STUDY00007120)。如果申请人来自本校机构或在其申请提交时审核流程已经开始,则将其排除在外。两种审核流程均进行
结果
共审核了 847 份申请。其中,委员会选中了 96 名申请人参加面试。AI 软件在其前 96 名名单中识别出其中 32 名申请人(33%),在前 10 名中识别出 7 名(70%)(表 2,图 1)。在委员会选中的 96 名申请人中,其在 AI 四分位数中的分布如下:51 名在第一四分位数,26 名在第二四分位数,8 名在第三四分位数,11 名在第四四分位数(图 2)。
AI 选择者的分数构成与
讨论
本研究表明,基于 AI 的申请审核产生了一致的评分模式,但在某些申请组件的相对权重上与人类评估者存在差异。AI 和委员会都优先考虑标准化考试成绩、经历和推荐信。然而,委员会对推荐信和经历因素赋予了更大的重视,表明其偏好定性评估和项目匹配度。相比之下,AI 评分
局限性
AI 在其前 96 名中选择了 64 名未被委员会选中参加面试的候选人。尽管许多申请人展现了强劲的定量指标,但与整体队列相比未发现有统计学显著性差异。这些差异可能反映了委员会对项目匹配度的主观评估。
这是一项单一机构在单一申请周期内的研究。此外,AI 评分准确性的变异性需要排除
结论
AI 辅助审核普通外科住院医师申请可能会提高初始筛选过程的效率和标准化程度。虽然它无法替代人类在评估定性属性和项目匹配度方面的判断,但它可能作为减少审核者负担的有价值的辅助工具。在广泛实施于住院医师选拔之前,需要进一步的验证。
关于写作过程中生成式 AI 及 AI 辅助技术使用的声明
在准备本工作期间,通讯作者使用 ChatGPT 进行手稿编辑。作者根据需要审查并编辑了输出内容,并对已发表文章的内容承担全部责任。
Kylie Dickerson|Logan Kenny|Jennifer Preston