在圆锥角膜检测中,卷积神经网络(CNNs)与视觉变换器(Vision Transformers)在稳定性与可解释性方面存在差异
《Pattern Recognition Letters》:Instability and Interpretability Discrepancies Between CNNs and Vision Transformers in Keratoconus Detection
【字体:
大
中
小
】
时间:2026年04月05日
来源:Pattern Recognition Letters 3.3
编辑推荐:
可解释AI在角膜地形图分类中的稳定性与可靠性分析,比较CNN与ViT的Grad-CAM解释差异,发现ViT稳定性更高但解释精确性稍低,强调架构对XAI可靠性影响显著。
Shankar Harikrishnan
独立研究员,美国伊利诺伊州布法罗格罗夫,邮编60089
摘要
可解释人工智能(XAI)所提供的解释的稳定性和可靠性尚不明确,尽管其在医学成像领域的应用日益增加。在本研究中,我们评估了基于卷积神经网络(CNN)和视觉变换器(ViT)的类别激活映射(CAM)在利用角膜地形图对圆锥角膜进行分类时的稳定性和准确性。CNN(ResNet-50)和ViT(B/16)在包含4,011张被分类为正常、疑似圆锥角膜或圆锥角膜的角膜地形图像的公共数据集上进行了训练,所有实验均通过7个随机种子进行重复以确保可重复性。Grad-CAM生成的熱圖显示了对模型诊断重要的区域。解释的可靠性通过CAM不稳定性、结构相似性指数(SSIM)、使用CAM和随机像素移除后的性能以及解释驱动的脆弱性(EDV)来衡量。ViT在跨种子解释相似性方面优于CNN(SSIM:0.604 vs 0.456)。ViT的不稳定性比CNN降低了一个数量级(0.0001 vs 0.0013)。ViT的EDV也比CNN降低了4倍(0.0003 vs 0.0012),而CNN的预测置信度对CAM引导区域的移除更为敏感(移除前10%到前30%的区域:0.568 vs 0.349(CNN)vs 0.863 vs 0.861(ViT)),这表明CNN的解释更准确但变化更大,而ViT的解释准确性较低但更稳定。这些发现表明CAM的可靠性在很大程度上取决于架构,并且应在临床使用前对XAI进行评估。
引言
圆锥角膜是一种进行性眼病,其特征是角膜逐渐变薄,导致不规则散光和视觉扭曲。该病的一些主要风险因素包括湿疹、过敏和圆锥角膜家族史。圆锥角膜的患病率在不同人群中差异显著,据报道每10万人中有0.2到4,790例,其发病率在每年每10万人中有1.5到25例。在中东和亚洲后裔的20至30岁人群中较为常见[1]。
圆锥角膜通常表现为中央和周边角膜的扩张,即角膜变薄并向外凸出[2]。该病还伴有基质层变薄和前界膜破裂[1]。
角膜地形图是一种利用地形扫描来绘制角膜3D布局的成像技术。通过计算机辅助映射并评估角膜的曲率、高度和厚度,这项技术可用于检测角膜损伤、瘢痕、散光、隐形眼镜问题以及圆锥角膜[3]。
目前使用角膜地形图研究圆锥角膜的参数包括平均角膜曲率(K)、散光和角膜高度。然而,这些参数在疑似或亚临床圆锥角膜病例中常常失效;例如,平均角膜曲率无法显著区分圆锥角膜眼和健康眼的结果。此外,散光作为诊断参数的特异性在亚临床圆锥角膜病例中降至65%以下,这也表明它不是一个有效的诊断参数[4]。Jafarinasab等人发现,临床圆锥角膜(KCN)的曲线下面积(AUC)为0.97,而亚临床KCN的AUC为0.69。不过,对于这些指标,KCN的敏感性为89.23%,而亚临床KCN的敏感性仅为50%[5]。这些结果以及之前的局限性表明,仅使用基于阈值的地形参数难以检测早期圆锥角膜。因此,由于角膜地形图在亚临床圆锥角膜中的低敏感性,可能会增加漏诊的风险或疾病预后的风险。
近年来,人工智能(AI)在医疗领域的应用越来越普及。这项技术已被用于图像分析,特别是在肿瘤学中,它能够从皮肤图像中检测恶性黑色素瘤。在眼科领域,AI中的深度学习(DL)可用于眼部疾病的诊断和临床远程护理[6]。
Mushin等人发现,只有16%的圆锥角膜相关机器学习(ML)研究使用了卷积神经网络(CNN),其中只有7%的研究同时分析了亚临床和临床圆锥角膜[7]。
尽管许多ML模型报告了高诊断准确性,但Muhsin等人强调,很少有方法成功应用于实际临床实践。其中一个主要原因是ML模型的可解释性有限,因为大多数研究并未探讨模型如何分析角膜各区域以得出最终诊断;相反,它们主要关注最终诊断结果[7]。
因此,研究还必须从可解释性、稳定性和敏感性等方面评估ML,结合其整体性能,以确定其真正的有效性。
由于CNN的架构使其能够提取局部特征,因此在医学领域非常常见,而视觉变换器(ViT)在眼科领域也越来越受到重视,因为它们在特定任务上的表现超过了CNN[8]。
Dosovitskiy等人创建的最佳ViT模型在ImageNet-ReaL上的准确率为90.72%,在CIFAR-100上的准确率为94.55%。这些高准确率表明,预训练在大型数据集上的纯变换器可以具有与最先进的CNN模型相似的性能,从而确立了变换器,特别是视觉变换器,作为CNN的强大替代方案[9]。
视觉变换器还更擅长捕捉全局上下文信息,因为它们具有自注意力机制,并且所有层之间的表示更加均匀。然而,CNN更依赖于池化操作和堆叠的卷积滤波器来提取局部特征,从而逐步构建全局表示[10]。了解CNN和视觉变换器(ViT)之间的架构差异对于临床应用至关重要,因为这些不同模型在空间特征捕捉方面存在显著差异,从而影响诊断结果。
可解释人工智能(XAI)是一种机器学习模型。它为深度学习模型的预测提供人类可以理解的解释。这有助于解决人工智能中的“黑箱问题”,即人类可以输入数据并接收模型的输出,但由于复杂的神经网络处理过程而无法理解模型是如何得出该输出的。当人类审查者能够理解模型是如何做出特定决策的,并根据这些结果调整参数时,使用XAI可以增加对机器学习模型的信任度和责任感[11]。
基于显著性的可视化方法突出了图像中对模型预测贡献最大的区域,这是深度学习中最广泛使用的XAI方法之一。其中,类别激活映射(CAM)及其变体(如梯度加权类别激活映射(Grad-CAM)越来越受欢迎,因为它们可以生成显示对模型诊断重要的区域的热图。这使临床医生能够确定模型对特定区域的关注是否与相关解剖结构相对应,例如在圆锥角膜的情况下[12]。
尽管这些方法被广泛采用,但研究也对其基于CAM的解释的可靠性提出了质疑。Adebayo等人发现,即使模型参数随机化,显著性图在视觉上也可能相似,这表明模型的某些解释可能并不能真正反映其完整的决策过程[13]。
在眼科领域,XAI的可靠性尤为重要,因为诊断通常依赖于角膜图像中的空间模式。误导性的解释可能导致临床医生做出错误诊断,即使模型性能看似可接受。
这些局限性要求评估解释的稳定性、扰动敏感性和跨架构一致性。特别是,对比CNN和ViT可以洞察这些不同架构如何影响注意力机制和空间解释的可靠性。通过定量分析CAM的稳定性、模型间的相似性和解释驱动的脆弱性,本研究旨在评估XAI方法在基于角膜地形图对圆锥角膜进行分类时的可信度。
因此,本研究做出了3项主要科学贡献:(1)量化不同圆锥角膜类别的CAM不稳定性;(2)评估CNN和ViT之间的解释一致性;(3)使用基于扰动的敏感性指标评估解释的准确性。
这项工作的初步版本已作为预印本发布[14]。与初始版本相比,本文在方法上有显著变化(7个随机种子、标签平滑处理、余弦调度器、AdamW优化、冻结主干网络预热、dropout分割以及患者级别分割的控制)。这些变化提供了比以往工作更稳健和可重复的CNN和ViT的可解释性和可解释性分析。
数据集和预处理
本研究使用了一个包含正常、亚临床圆锥角膜和临床圆锥角膜病例的角膜地形图数据集。每张图像都使用了相对于最佳拟合球体的后部角膜高度图,并且所有图像都被调整到了固定的分辨率。此外,还对图像进行了归一化,以确保样本间强度分布的一致性。我们还应用了数据增强技术,如水平翻转和轻微旋转,以减少
分类性能
CNN的整体分类准确率为0.8384 ± 0.0580,而ViT在7个随机种子测试中的整体分类准确率为0.8299 ± 0.0431(表1)。准确率差异在统计上不显著(p = 0.813,Paired Cohen’s d_z = 0.258),为两种模型提供了公平的比较基础(表3)。图2(a)和图2(b)分别展示了ViT和CNN模型的ROC曲线。
由于性能相似
讨论
本研究分析了使用角膜地形图对圆锥角膜进行分类的可解释人工智能的可靠性。两种方法报告的性能相当(CNN:0.8384 ± 0.0580;ViT:0.8299 ± 0.0431),因此可以进行公平比较。由于ViT模型生成的CAM地图具有扩散性特征,这与先前的研究结果一致,即基于变换器的架构在空间精度上较低,这意味着CNN更依赖于局部特征
结论
本研究通过比较卷积神经网络(CNN)和视觉变换器(ViT)在角膜地形图分类中的表现,研究了可解释人工智能(XAI)的可靠性。我们发现,这两种模型在独立测试集上的准确率都相对较高;然而,由于仅凭性能不足以评估临床适用性,本研究还评估了空间解释的可靠性,以确定每种方法的有效性
CRediT作者贡献声明
Shankar Harikrishnan:概念化、数据整理、正式分析、研究设计、方法论、项目管理、资源协调、软件开发、监督、验证、可视化、初稿撰写、审稿与编辑。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号