《Scientific Reports》:SoleFusion-Net: an explainable multimodal deep learning framework for diabetic foot syndrome classification in type II diabetes mellitus
编辑推荐:
为应对糖尿病神经病变早期诊断对主观临床评估的依赖,研究人员开展了融合足底压力图像与结构化临床数据的可解释多模态AI研究。他们提出了SoleFusion-Net框架,采用后融合双分支架构联合分类,在504名患者中实现了83%的验证准确率,并通过Grad-CAM、SHAP等可解释性技术提升临床信任,为糖尿病足综合征风险分层提供了可信的AI辅助工具。
糖尿病已成为全球性的重大公共卫生挑战,由其引发的并发症严重影响着患者的生活质量。其中,糖尿病足综合征(Diabetic Foot Syndrome, DFS)是2型糖尿病(Type II Diabetes Mellitus, T2DM)患者中一种常见且令人担忧的并发症,可能导致足部溃疡、感染,甚至截肢。然而,其核心病理生理环节——糖尿病神经病变(Diabetic Neuropathy)的早期检测,在临床实践中却面临着一道难以逾越的鸿沟。医生们长期以来主要依赖振动感知阈值(Vibration Perception Threshold, VPT)测试、10克单丝(Monofilament)测试等主观性较强的临床评估方法。这些方法不仅高度依赖检查者的经验,而且往往在神经损伤已相当明显时才能被捕捉到,错失了早期干预的黄金窗口。有没有一种方法,能够更客观、更精准、更早期地对糖尿病足的风险进行分层,从而为临床决策提供更可靠的依据呢?
这正是《Scientific Reports》上发表的这项研究试图回答的问题。研究人员敏锐地意识到,生物医学数据的多模态特性蕴含着更丰富的诊断信息。临床上,我们既有描述患者基本情况的结构化数据(如年龄、血糖水平、VPT分数等),也有反映足部生物力学状态的非结构化图像数据(如足底压力分布图)。但传统的诊断模式往往将这些信息割裂看待。能否将两者有机结合,并利用先进的人工智能(AI)技术从中挖掘出更深层次的规律?更重要的是,医疗AI模型常常因其“黑箱”特性而难以获得临床医生的信任。一个准确但不可理解的模型,在关乎生命的医疗决策中是难以被接受的。因此,构建一个既准确又可解释的AI框架,成为了破解当前临床困境的关键。
为了攻克这些难题,研究团队提出并开发了名为“SoleFusion-Net”的创新性框架。这是一个专门用于T2DM患者糖尿病足综合征分类的可解释多模态深度学习系统。它的核心思想是模仿资深专家的诊断思维:同时考量患者的全面临床指标和足部的具体生物力学特征,并进行综合研判。
研究人员开展了一项回顾性研究,构建了一个包含504名T2DM患者的队列。这些患者根据其神经病变的严重程度,被分层为轻度、中度和重度三类,这为模型的训练和评估提供了坚实的基础。SoleFusion-Net框架的设计精巧地对应了多模态数据的特性。它采用了一种“后融合”的双分支架构:一个分支是“图像分支”,专门处理足底压力图像。它利用卷积神经网络(Convolutional Neural Network, CNN)层层抽丝剥茧,自动从图像中提取出与异常步态、压力分布失衡相关的关键生物力学特征。另一个分支是“表格分支”,专门处理患者的临床数据和人口统计学变量,如年龄、糖尿病病程、VPT值、单丝测试得分等。两个分支像两位各有所长的专家,分别从视觉图像和数字表格中学习诊断知识。最后,在高级抽象层面,系统将两个分支学习到的“知识表示”进行融合,由一个联合分类器做出最终的风险等级判断。仅仅准确还不够,研究团队在模型中深度集成了多种可解释人工智能(Explainable AI, XAI)技术,包括梯度加权类激活映射(Grad-CAM)、SHAP(SHapley Additive exPlanations)值分析、代理决策树和原型批评分析等,全方位、多角度地“照亮”模型的决策黑箱,阐明是哪些临床指标和足底的哪个具体区域对模型的判断起到了决定性作用。
通过这一系列研究,作者得出了具有重要意义的结论。SoleFusion-Net在验证集上展现了优异的性能,整体分类准确率达到83%,并且在对轻度、中度、重度三个类别的区分上,其曲线下面积(AUC)分别达到了0.962、0.892和0.933,表明其具有很强的辨别能力,尤其在早期病变的识别上潜力突出。更重要的是,可解释性分析带来了与传统临床认知相互印证又有所深化的发现。SHAP分析清晰地指出,振动感知阈值(VPT)和单丝测试得分是模型进行风险分层时最关键的两个预测因子,这证实了经典临床指标的核心价值。而Grad-CAM生成的热力图则直观地显示,模型在判断时特别关注足底的那些特定空间区域(如跖骨头区域),这些区域恰好是临床上溃疡的好发部位,从而在生物力学层面为模型的决策提供了直观的物理解释。整个研究证明,通过调整标准的多模态融合流程并综合运用多种XAI方法,完全可以构建出一个既高性能又高可信度的糖尿病足综合征自动分类解决方案。这为临床医生提供了一个模块化、可解释的AI工具,能够有效整合多模态生物医学数据,辅助进行客观、精准的风险分层。虽然该框架的有效性仍需进一步的外部验证,但其设计理念具有向其他疾病诊疗场景推广的潜力。
综上所述,本研究成功开发了SoleFusion-Net这一可解释的多模态深度学习框架。它通过融合足底压力图像与临床数据,显著提升了对2型糖尿病患者糖尿病神经病变的分类性能。研究综合利用Grad-CAM、SHAP等多种可解释性技术,使模型的决策过程对临床医生变得透明可信,识别出VPT和单丝评分等关键临床预测因子,并可视化了关键的足底生物力学风险区域。这项工作不仅为糖尿病足综合征的早期、客观风险分层提供了强有力的AI辅助工具,降低了对主观评估的依赖,更重要的是,它展示了一条构建可信赖医疗AI的可行路径——即通过“多模态数据融合”增强模型性能,再通过“深度可解释性设计”赢得临床信任。该框架的模块化特性也预示着其在整合其他类型生物医学数据(如医学影像、电子病历、基因组学数据)方面的广阔前景,为迈向真正辅助临床决策的下一代人工智能医疗系统奠定了重要的方法论基础。