《Frontiers in Artificial Intelligence》:Integration of handcrafted and deep-level features to improve skin disease detection
编辑推荐:
世界卫生组织指出,皮肤疾病是全球最常见的健康问题之一,构成了非致命疾病负担的重要来源,并对生活质量和医疗系统产生重大影响。黑色素瘤皮肤癌是全球最致命的疾病之一,2022年有近60,000人死于黑色素瘤。皮肤疾病影响全球数百万人,对公共健康构成严重威胁,可改变皮
世界卫生组织指出,皮肤疾病是全球最常见的健康问题之一,构成了非致命疾病负担的重要来源,并对生活质量和医疗系统产生重大影响。黑色素瘤皮肤癌是全球最致命的疾病之一,2022年有近60,000人死于黑色素瘤。皮肤疾病影响全球数百万人,对公共健康构成严重威胁,可改变皮肤的组成、功能和外观。为检测和预测皮肤疾病,需要全面的体格检查、患者病史回顾以及适当的实验室检测。然而,噪声、模糊、不均匀光照、特征表示不足以及不同皮肤疾病之间的特征重叠等因素均会降低皮肤疾病识别的效果。本研究提出了一种基于深度卷积神经网络的双向特征描述系统——皮肤疾病检测网络(Skin Disease Detection Network,SDNet),用于多类别皮肤疾病识别。SDNet采用两条并行分支来表征皮肤图像中的层次化特征:第一分支使用二维卷积神经网络(2D CNN)结合预处理后的原始图像;第二分支使用一维卷积神经网络(1D CNN),输入灰度共生矩阵(Gray Level Co-occurrence Matrix,GLCM)特征、改进局部二值模式(Improved Local Binary Pattern,ILBP)和梯度方向直方图(Histogram of Oriented Gradient,HOG)特征,以描述皮肤图像的纹理和形状属性。研究人员使用DermNet数据集评估SDNet的准确率、召回率、精确率和F1分数。所提出的SDNet在5类皮肤疾病检测中实现了99.1%的总体准确率、99.1%的召回率、98.96%的精确率和98.95%的F1分数,相较于传统最先进的算法表现出显著提升。本研究通过可解释人工智能(Explainable Artificial Intelligence,XAI)方法,标志着在利用SDNet的可靠性进行精确高效皮肤疾病识别方面迈出了重要一步。
**研究背景与问题提出**
皮肤疾病是全球范围内最常见的健康问题之一,世界卫生组织数据显示,2022年约有150万皮肤疾病病例,其中60,000人死于皮肤黑色素瘤。过度日晒是皮肤疾病最常见的诱因,且许多皮肤问题随时间推移变得更加危险。由于多种皮肤疾病具有相似的视觉特征,物理诊断面临挑战,使得医学诊断和治疗更加困难。传统上,皮肤疾病的识别采用ABCDE标准,即评估不对称性(asymmetry)、边界(border)、颜色(color)、尺寸(dimension)和演变(evolution)。自动皮肤疾病检测(Automated Skin Disease Detection,ASDD)具有重要意义,因为多种疾病在皮肤扫描中表现出重叠症状。皮肤作为人体最大的器官,其疾病诊断传统上依赖于皮肤镜检查、活检和肉眼观察。然而,ASDD的效果主要取决于皮肤科医生的专业知识,而医生数量的稀缺性、认知局限、观察者间差异以及可见性问题均可能限制其效能。传统的基于视觉的ASDD使用皮肤图像识别疾病,涉及预处理、特征提取以及使用机器学习(Machine Learning,ML)和深度学习(Deep Learning,DL)分类器进行数据分类等步骤。然而,多种重叠疾病的视觉特征,如低分辨率、模糊、皮肤病变与周围皮肤难以区分、对比度差和图像噪声等问题,使得现有ASDD的结果难以令人满意。
当前深度学习模型在皮肤疾病检测领域存在以下主要问题:迁移学习需要大量计算资源和可训练参数,限制了其在处理能力有限设备上的应用;顺序深度卷积神经网络(Deep Convolutional Neural Network,DCNN)无法同时捕获图像的精细和粗纹理特征,因其使用相同核大小的卷积滤波器;传统深度学习方法在图像尺寸、方向和光照变化时产生不一致且泛化性较差的结果;顺序DCNN的设计通过增加类内相似性和减少类间差异性而限制了特征的区分度;此外,DCNN缺乏可解释性,而这对增强从业者对模型决策过程的信任和理解至关重要。
**研究内容与方法**
为解决上述问题,研究人员提出了一种基于深度学习的皮肤疾病检测方法,构建了一种新型双向特征描述系统SDNet,并引入改进的对比度、文本和边缘感知滤波(Improved Contrast, Text, and Edge-aware Filtering,ICTEF)技术进行图像预处理。该研究发表在《Frontiers in Artificial Intelligence》。
研究人员主要采用了以下关键技术方法:在图像预处理方面,使用ICTEF技术,该技术结合双阶段高斯滤波、维纳滤波和中值滤波,通过离散小波变换(Discrete Wavelet Transform,DWT)分解和均值融合增强图像;在特征提取方面,采用GLCM提取对比度、相关性、能量、均匀性、自相关和熵等6种统计纹理特征,采用ILBP提取32维方向性纹理特征,采用HOG提取形状特征,共34,596维;在网络架构方面,构建SDNet框架,包括并行配置的2D-CNN和1D-CNN:2D-CNN包含3个卷积层(滤波器数量分别为64、128、256),后接修正线性单元(Rectified Linear Unit,ReLU)和批归一化(Batch Normalization,BN)层;1D-CNN处理手工特征向量;特征融合后接入全连接(Fully Connected,FC)层和softmax分类器(Softmax Classifier,SMC);在可解释性分析方面,采用梯度加权类激活映射oled映射(Gradient-weighted Class Activation Mapping,Grad-CAM)对SDNet特征进行可视化分析,提升模型可解释性。
**研究结果**
**图像预处理效果**:ICTEF预处理技术通过双阶段高斯滤波(3×3窗口,标准差为1)进行纹理平滑和高频噪声去除,维纳滤波最小化模糊和噪声,对比度受限自适应直方图均衡化增强对比度,中值滤波(3×3窗口)平滑纹理。三种滤波器输出经三阶DWT分解(使用db2小波)保留边缘信息和低频细节,经均值融合后通过逆DWT重建增强图像。预处理显著提升了后续检测性能。
**GLCM特征分析**:GLCM作为基于灰度级共现矩阵中像素频率的统计纹理特征提取方法,为不同皮肤疾病提供了有效的纹理表征。对比度(CT)测量强度变化以说明结构变化,疱疹HPV(0.311)和黑色素瘤(0.298)对比度最高,荨麻疹(0.167)最低。相关性(CR)表示像素间相似性,范围从-1到1,荨麻疹(0.948)相关性最高,黑色素瘤(0.848)最低。能量(EN)为GLCM值的平方和,指示纹理均匀性,黑色素瘤(0.238)最高,狼疮(0.194)最低。均匀性(HM)描述GLCM值与对角元素的接近程度,荨麻疹(0.924)和痤疮(0.895)最高,疱疹HPV(0.879)最低。自相关(AC)提供周期性模式相似性,黑色素瘤(22.19)最高,狼疮(17.22)最低。熵(ET)测量图像信息和随机性,疱疹HPV(3.08)和狼疮(3.07)较高,黑色素瘤(2.85)较低。
**ILBP特征提取**:传统LBP提供尺度不变和旋转不变的纹理特征,但空间连通性有限。ILBP通过分析四个独立方向(上、左、右、下)的像素空间关系,将局部窗口分为四个区域,每个区域产生3位二进制模式(0-7),形成四个描述符,共8个可能值。各方向直方图连接后产生32个ILBP特征,远低于传统LBP的256个特征,在增强纹理空间连通性和相关性的同时降低了计算需求。
**HOG特征提取**:HOG特征捕获皮肤图像的形状特征以识别皮肤病变的变化。在8×8像素的单元、2×2单元块(50%重叠)上计算,方向分为9个区间。通过水平核H
x和垂直核H
y计算梯度,经梯度幅值和方向计算后,对256×256像素的分辨率图像共提取34,596维HOG特征,描述皮肤对象的不规则性、形状和大小。
**SDNet网络性能**:SDNet包含并行的2D-CNN和1D-CNN模型。2D-CNN处理预处理后的原始图像,1D-CNN处理GLCM、ILBP和HOG组合的手工特征向量。深层特征经最大池化层(MaxPool)降维后,从两个网络最后一层MaxPool层输出的深度特征被展平并输入FC层以增强特征连接性,最终SMC将皮肤图像分类为五类疾病。网络总可训练参数为5,850,752,使用Adam优化算法,学习率0.001,衰减率0.5,训练200个epoch,训练测试分割比为70:30。
**分类性能评估**:研究使用公开可获取的DermNet数据集进行评估,包含痤疮(840样本)、狼疮(420样本)、黑色素瘤(463样本)、荨麻疹(375样本)和疱疹HPV(405样本)五类皮肤疾病。
无预处理条件下,1D-CNN基于GLCM、LBP和HOG特征实现93.8%的总体准确率;2D-CNN基于原始皮肤图像实现96.7%的准确率;SDNet实现98.45%的改进总体准确率。经预处理后,1D-CNN、2D-CNN和SDNet的总体准确率分别达到95.5%、97.3%和99.1%。在疾病特异性改进方面,狼疮和黑色素瘤的改善最为显著,1D-CNN对狼疮的召回率提升4.7%(从90.5%至95.2%),对黑色素瘤提升4%(从91.6%至95.6%)。疱疹HPV的召回率也提升了4%。SDNet预处理后在所有疾病上召回率和F1分数均超过99%。
不同特征组合的性能比较显示:1D-CNN使用6个GLCM特征准确率78.35%,256个LBP特征86.40%,32个ILBP特征88.20%,34,596个HOG特征90.15%;组合特征中GLCM+ILBP为91.75%,GLCM+HOG为93.10%,ILBP+HOG为93.20%,GLCM+ILBP+HOG为95.5%。2D-CNN对原始图像达97.3%。SDNet融合所有特征达99.1%。
与现有技术比较,SDNet(99.10%准确率,训练时间2,341秒,检测时间0.93秒)超越VGGNet(89.25%)、AlexNet(90.95%)、GoogleNet(91.25%)、集成分类器(93.50%)、CNN-SVM(93.80%)、EfficientNet(94.25%)、ConvNextV2(94.20%)和VisionTransformer(96.15%,训练时间4,532秒)。5折交叉验证平均准确率97.55%,标准差0.58;10折交叉验证平均准确率98.75%,标准差0 Championship。32,95%置信区间[98.49, 99.10],显示出更好的一致性和可靠性。
**Grad-CAM可解释性分析**:为增强混合2D-1D DCNN模型的可解释性,研究人员将Grad-CAM应用于2D CNN分支的最终卷积层以可视化分类决策的空间区域。生成的热力图持续突出临床相关的病变区域,如异常组织边界和高密度病理区域,与专家标注的兴趣区域一致。这表明模型学习的是有意义的疾病相关特征而非虚假模式。虽然1D CNN分支捕获判别性手工特征表示,Grad-CAM专用于基于图像的分支以提供空间可解释性。通过将Grad-CAM热力图与高手工特征值区域进行映射对照,可确认CNN聚焦于临床相关区域,从而增强皮肤科医生对模型的信任和可解释性。
**讨论与结论**
研究人员在讨论中指出,研究的局限性在于模型仅使用单一数据集(DermNet)进行评估。尽管结果显示出强劲性能,但缺乏外部或跨数据集验证可能限制模型在不同成像条件和人群中的泛化能力。未来工作将聚焦于在多个公开数据集上验证所提出的框架,并进行跨数据集评估以进一步评估其鲁棒性和临床适用性。
研究结论部分指出,该研究提出了一种用于皮肤疾病检测的双向特征表示方法,结合2D-CNN和1D-CNN。2D-CNN处理原始图像以学习皮肤模式内的相关性和连通性,1D-CNN处理GLCM、ILBP和HOG等多种纹理和形状特征以定义皮肤疾病图像的全局纹理、局部纹理和形状属性。ILBP相较于传统LBP提供更优的纹理描述,增强纹理空间连通性和相关性的同时减少了特征数量。新型ICTEF技术利用双阶段高斯、维纳和中值滤波增强边缘和纹理,同时降低噪声并改善对比度。无预处理时,SDNet实现98.4%的召回率、98.62%的精确率、98.41%的F1分数和98.4%的准确率;预处理后,SDNet总体准确率提升至99.1%,召回率达99.1%,精确率达98.96%,F1分数达98.95%。该研究通过Grad-CAM等可解释AI框架支持研究发现,准确映射疾病位置,从而增加皮肤科医生对模型的信任,提升模型决策的透明度和可靠性。未来改进可涉及模型超参数的微调。训练数据集的差异性导致类别不平衡,造成定性与定量结果之间的差异。未来可提出有效的数据增强方案以解决数据稀缺和类别不平衡问题。该系统可部署于独立设备以辅助皮肤科医生进行皮肤疾病筛查。