
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于ResNet50的深度学习系统在临床前牙科形态学肥皂雕刻练习中的标准特定评估:开发、内部验证与多评分者参考一致性分析
《BMC Medical Education》:Development and internal validation of a deep learning system for criterion-specific assessment of preclinical dental soap carvings: a multi-rater study
【字体: 大 中 小 】 时间:2026年10月09日 来源:BMC Medical Education 4.2
编辑推荐:
摘要背景在临床前牙科形态学教育中,对肥皂雕刻练习的评估可能受到评分者间变异以及手动评估相关工作量的影响。本研究开发并内部评估了一种基于人工智能(AI)的深度学习系统,用于对肥皂雕刻进行标准特定的评估,并检验其与多评分者平均参考标准的符合度。方法共对280枚肥皂雕刻的上颌左侧恒
在临床前牙科形态学教育中,对肥皂雕刻练习的评估可能受到评分者间变异以及手动评估相关工作量的影响。本研究开发并内部评估了一种基于人工智能(AI)的深度学习系统,用于对肥皂雕刻进行标准特定的评估,并检验其与多评分者平均参考标准的符合度。
共对280枚肥皂雕刻的上颌左侧恒中切牙(国际牙科联合会[FDI]牙齿21)从五个标准视角进行拍照(共1400张图像)。三名教师独立使用0-10分制对每个样本的十个形态学标准进行评分。采用组内相关系数(ICCs)评估评分者间信度,平均评分形成标准特定的多评分者平均参考分数。样本被划分为开发集(n?=?224)和内部保留测试集(n?=?56)。基于ResNet50的多输出回归模型通过三个随机种子的五折交叉验证和两阶段迁移学习进行训练。采用平均绝对误差(MAE)、均方根误差(RMSE)、决定系数(R2)、Spearman秩相关系数、组内相关系数、Bland–Altman分析以及bootstrap 95%置信区间(CIs)评估性能。对八个保留样本进行梯度加权类激活映射(Grad-CAM)定性分析。
在十个标准中,教师之间的平均测量ICC范围为0.849至0.994。在保留测试集上,集成模型实现了1.204的宏平均绝对误差(95% CI,1.059–1.374)、1.584的宏均方根误差(95% CI,1.371–1.799)和0.223的宏决定系数(95% CI,0.023–0.348)。各标准特定的Spearman相关系数范围为0.297至0.560,而AI预测与多评分者平均参考分数之间的绝对一致性ICC范围为0.309至0.429。标准10的MAE最低(0.709),而标准9的MAE最高(2.029)。Bland–Altman平均偏差较小,但一致性界限存在差异。Grad-CAM显示异质性激活模式。
研究结果表明,基于ResNet50的方法在肥皂雕刻的标准特定评估中具有可行性,同时凸显了各标准层面性能的显著变异性。与多评分者参考标准的绝对一致性存在异质性,不支持与教师评估或自主总结性评分互换使用。该方法可能支持在人工监督下进行形成性评估,但在实施前仍需进行前瞻性外部验证。
在临床前牙科形态学教育中,对肥皂雕刻练习的评估可能受到评分者间变异以及手动评估相关工作量的影响。本研究开发并内部评估了一种基于人工智能(AI)的深度学习系统,用于对肥皂雕刻进行标准特定的评估,并检验其与多评分者平均参考标准的符合度。
共对280枚肥皂雕刻的上颌左侧恒中切牙(国际牙科联合会[FDI]牙齿21)从五个标准视角进行拍照(共1400张图像)。三名教师独立使用0-10分制对每个样本的十个形态学标准进行评分。采用组内相关系数(ICCs)评估评分者间信度,平均评分形成标准特定的多评分者平均参考分数。样本被划分为开发集(n?=?224)和内部保留测试集(n?=?56)。基于ResNet50的多输出回归模型通过三个随机种子的五折交叉验证和两阶段迁移学习进行训练。采用平均绝对误差(MAE)、均方根误差(RMSE)、决定系数(R2)、Spearman秩相关系数、组内相关系数、Bland–Altman分析以及bootstrap 95%置信区间(CIs)评估性能。对八个保留样本进行梯度加权类激活映射(Grad-CAM)定性分析。
在十个标准中,教师之间的平均测量ICC范围为0.849至0.994。在保留测试集上,集成模型实现了1.204的宏平均绝对误差(95% CI,1.059–1.374)、1.584的宏均方根误差(95% CI,1.371–1.799)和0.223的宏决定系数(95% CI,0.023–0.348)。各标准特定的Spearman相关系数范围为0.297至0.560,而AI预测与多评分者平均参考分数之间的绝对一致性ICC范围为0.309至0.429。标准10的MAE最低(0.709),而标准9的MAE最高(2.029)。Bland–Altman平均偏差较小,但一致性界限存在差异。Grad-CAM显示异质性激活模式。
研究结果表明,基于ResNet50的方法在肥皂雕刻的标准特定评估中具有可行性,同时凸显了各标准层面性能的显著变异性。与多评分者参考标准的绝对一致性存在异质性,不支持与教师评估或自主总结性评分互换使用。该方法可能支持在人工监督下进行形成性评估,但在实施前仍需进行前瞻性外部验证。
生物通微信公众号