《IEEE Access》:FoMoSkinNet: A Dual-Stream Deep Learning Model for Early Detection and Classification of Non-Dermoscopic Skin Lesions via Focal Modulation and Local Feature Integration
编辑推荐:
本研究聚焦于皮肤癌,特别是黑色素瘤的早期诊断难题,现有深度学习模型在处理低质量、高变异性的非皮镜临床图像时泛化能力不足。为此,研究人员提出了一种名为FoMoSkinNet的双流深度混合模型,该模型通过FocalNet捕获病变的全局上下文依赖关系,并利用新颖的局部特征网络(LFNet)提取细粒度纹理细节,两者特征融合后显著提升了模型性能。在ISIC2024数据集上的实验表明,FoMoSkinNet在准确率、精确度、召回率、F1分数和特异性等指标上均超越了现有最优方法,为基于非皮镜图像的皮肤癌自动检测提供了可靠、高效的解决方案。
皮肤作为人体最大的器官,是抵御外界伤害的第一道屏障,但同时也是癌症高发的部位。其中,黑色素瘤虽然仅占皮肤癌病例的1%,但其恶性程度和死亡率却远高于其他类型。幸运的是,早期发现和准确诊断能极大改善患者的治疗结果和生存率。近年来,以卷积神经网络(CNN)和Transformer为代表的深度学习模型在皮肤病变的恶性程度检测中扮演了越来越重要的角色。然而,现实世界中的临床挑战依然严峻。大多数现有研究依赖于在严格控制的成像条件下获取的高质量皮镜图像,而日常诊疗中更常见的是由智能手机或普通相机拍摄的非皮镜图像。这些图像往往存在光照不均、背景复杂、分辨率低、视角多变等问题,导致许多先进的模型在实际应用中“水土不服”,泛化能力大打折扣。此外,许多模型要么只关注局部纹理特征,要么只强调全局上下文关系,难以兼顾对精准诊断至关重要的多层次信息。为了解决这些瓶颈,一项名为“FoMoSkinNet”的创新研究应运而生,旨在为真实世界中的非皮镜皮肤癌检测提供一把更精准的“尺子”。
这项研究发表在开放获取期刊《IEEE Access》上。为了攻克非皮镜皮肤病变分类的难题,研究人员设计并验证了一个名为FoMoSkinNet的双流深度学习混合架构。该研究采用了来自国际皮肤影像合作组织2024年挑战赛的ISIC 2024 SLICE-3D数据集,该数据集包含从三维全身摄影中裁剪的、模拟真实临床场景的非皮镜图像。研究人员运用了多种关键技术方法:首先,对图像进行了标准化预处理(如调整至224×224像素、使用ImageNet均值标准差进行归一化)和丰富的数据增强(包括随机翻转、旋转、颜色抖动等)以应对类别不平衡。模型的核心是创新的双流设计:一路采用FocalNet(一种基于Focal Modulation机制的Transformer变体)来有效捕获病变的长程依赖和全局结构信息;另一路是自定义的局部特征网络(LFNet),它结合了分组卷积、通道重排和多尺度扩张深度可分离卷积,专门用于提取细粒度的局部纹理和边缘特征。最后,将两路提取的互补特征进行融合,并通过一个包含全连接层和Dropout的分类头输出最终的良恶性判断。模型使用AdamW优化器和二元交叉熵损失函数进行训练。
研究结果
- •
A. 消融研究:通过系统的消融实验验证了FoMoSkinNet各个组件的有效性。单独使用FocalNet在测试集上达到了96.88%的准确率,而单独使用LFNet的准确率为90.47%。当将两者融合成完整的FoMoSkinNet后,模型性能得到显著提升,测试准确率达到了98.85%,充分证明了结合全局上下文与局部特征策略的优越性。
- •
B. 与先进方法的比较:研究将FoMoSkinNet与多种先进的预训练模型进行了对比,包括CNN基础的模型(如ResNet50, DenseNet121)和Transformer基础的模型(如Vision Transformer, Swin Transformer)。在所有比较模型中,FoMoSkinNet取得了最佳的综合性能,其准确率(98.85%)、精确度(99.46%)、召回率(98.23%)、F1分数(98.84%)和特异性(99.47%)均优于其他模型,证实了其针对非皮镜图像分类任务的有效性和先进性。
研究结论与意义
本研究成功地提出并验证了FoMoSkinNet,一个专为低分辨率、非皮镜皮肤病变图像分类设计的双流混合深度学习模型。该模型的核心贡献在于创造性地整合了FocalNet和LFNet,使得模型能够同时建模病变的全局语义信息和局部细节特征,从而实现了对图像内容更全面、更深层次的理解。实验结果表明,FoMoSkinNet在公开的大规模ISIC2024数据集上表现卓越,多项评估指标均达到了最先进的水平。
这项研究的结论具有多重重要意义。首先,在学术上,它为解决深度学习模型在非理想成像条件下的泛化问题提供了一个新颖且有效的架构范式,即通过双流特征提取与融合来增强模型的鲁棒性和表征能力。其次,在临床应用层面,FoMoSkinNet为解决真实世界临床环境中皮肤癌的早期、自动化筛查提供了强有力的工具。由于其针对的是易于获取的非皮镜图像(如患者自拍或初级医疗机构的常规照片),该技术有望降低皮肤癌诊断的门槛和成本,辅助医生(尤其是资源匮乏地区的医生)做出更快速、更准确的判断,最终惠及更广泛的患者群体。尽管研究取得了显著成果,作者也指出了未来工作的方向,例如进一步探索模型在更多样化、更具挑战性的数据集上的泛化能力,以及研究模型的可解释性,让AI的决策过程对医生而言更加透明和可信。总之,FoMoSkinNet为基于人工智能的皮肤癌辅助诊断迈向实用化迈出了坚实的一步。