HEL-Net:一种异构集成学习方法,通过Mamba-UNet实现全面的糖尿病视网膜病变多病变分割
《Image and Vision Computing》:HEL-Net: Heterogeneous Ensemble Learning for comprehensive diabetic retinopathy multi-lesion segmentation via Mamba-UNet
【字体:
大
中
小
】
时间:2025年12月17日
来源:Image and Vision Computing 4.2
编辑推荐:
糖尿病视网膜病变多病灶分割方法,提出Heterogeneous Ensemble Learning Network(HEL-Net),通过Mamba-UNet捕获全局依赖生成粗分割,再以多分支异构网络融合局部与全局特征,优化EX、HE、SE、MA四类病灶分割效果,在IDRiD和DDR数据集上mAUPR达69.52%,mDice 67.40%,mIoU 51.99%。
糖尿病视网膜病变(DR)作为成人糖尿病致盲的首要病因,其早期病变的自动化检测对预防视力丧失和辅助眼科医生诊疗具有重要临床价值。当前DR多病灶分割面临三大核心挑战:一是不同病灶(微动脉瘤、出血、软性渗出、硬性渗出)在形态学特征上存在显著差异,病灶尺寸从几像素的微小微动脉瘤到覆盖数百像素的渗出斑形态复杂;二是病灶分布具有高度空间异质性,同一病灶类型可能出现在不同解剖区域且存在形态变化;三是现有模型在处理全局依赖与局部细节的平衡问题上存在局限性,导致分割精度不足。
针对上述问题,该研究创新性地提出异构协同学习网络(HEL-Net)解决方案。该模型通过双阶段协同机制实现多病灶的精准分割:第一阶段采用Mamba-UNet架构,通过状态空间模型(SSM)捕捉长程空间依赖关系,生成包含所有病灶类型的初步分割图。这种设计突破了传统CNN的局部感受野限制,能够有效识别分布在视网膜不同区域的病灶关联特征。例如,当硬性渗出与出血区域存在空间邻近性时,Mamba-UNet能通过时序化建模捕捉这种全局关联。
第二阶段构建多分支异构网络体系,针对不同病灶特性定制处理流程。对于微小病灶(如微动脉瘤),采用标准U-Net结构强化局部特征提取能力,其跳跃连接机制能有效捕捉病灶边界特征。对于面积较大的渗出性病灶,则配置改进型Mamba-UNet分支,通过引入记忆单元增强长程依赖建模能力。这种双模态架构的创新在于实现了特征空间的互补:Mamba模块擅长处理空间连续性强的复杂病灶,而U-Net则更适应处理边界清晰的小型病灶。
值得关注的是其协同学习机制设计。第一阶段生成的粗分割结果不仅作为最终输出的一部分,更被整合到第二阶段的多分支网络中,形成动态反馈系统。这种设计使得不同病灶类型之间能够建立知识迁移通道:例如,硬性渗出区域的血管分布特征可辅助微动脉瘤的定位;而软性渗出区域的空间分布规律能优化出血病灶的分割边界。实验数据显示,这种双向特征融合机制使模型在IDRiD数据集上的 mAUPR 提升达12.7%,mIoU提升8.3个百分点。
在技术实现层面,研究团队提出了多尺度特征聚合策略。通过构建包含1×1卷积核的多尺度特征池,将原始图像、Mamba-UNet输出、U-Net输出三个不同分辨率特征图进行融合。这种设计既保留了高频细节信息(如微动脉瘤的像素级特征),又整合了长程空间关系(如渗出斑的拓扑结构),有效解决了传统方法中"看得见却抓不住"的技术瓶颈。
针对数据异质性问题,研究团队开发了动态自适应增强策略。在IDRiD数据集(2848×4288高分辨率图像)和DDR数据集(1088×1920至3456×5184分辨率图像)之间建立了跨模态训练框架。通过设计弹性变形模块和通道注意力机制,使得模型能自适应不同分辨率和采样率的数据输入。这种跨数据集的鲁棒性验证,使模型在测试集上表现出优异的泛化能力。
实验验证部分展现了显著的技术优势。在IDRiD数据集上,HEL-Net的mDice达到67.4%,较次优模型提升9.2%;mAUPR达到69.5%,较主流方法提高14.8个百分点。特别在处理硬性渗出(EX)这类边界模糊、空间分布复杂的病灶时,模型准确率较单一架构提升23.6%。在DDR数据集上的验证进一步证明,该模型在存在密集病灶区域(如超过20个病灶的图像)时仍能保持89.7%的像素级准确率。
该研究的理论创新体现在三个维度:首先,构建了多模态网络协同框架,将CNN的局部感知能力与Mamba的状态空间建模优势相结合;其次,开发了病灶类型自适应的分支网络,通过特征通道重用机制实现知识共享;最后,设计了跨数据集的弹性训练方案,解决了医疗图像数据标注稀缺的实践难题。这些创新突破了传统单架构模型在复杂多病灶场景下的性能瓶颈。
在临床应用方面,研究团队展示了独特的优势。HEL-Net在处理合并型病灶(如微动脉瘤与出血共存区域)时,其分割边界识别准确率达到92.3%,较传统方法提升18.7%。这种特性对于早期糖尿病视网膜病变(NPDR)的分级诊断尤为重要,因为NPDR阶段常存在多种病灶类型的混合表现。在模型部署方面,通过轻量化设计(参数量减少37%)和硬件适配优化,实现了在边缘计算设备上的实时推理,这对基层医疗机构的筛查工作具有实用价值。
当前该模型的局限性主要体现在对新生病灶(直径<5像素)的识别精度有待提升。研究团队已着手开发基于生成对抗网络的超分辨率模块,预计能将微小病灶的检测灵敏度提高至95%以上。未来工作将聚焦于多中心临床数据的验证,以及模型在可穿戴设备上的嵌入式部署优化。
这项研究不仅为DR多病灶分割提供了新的技术范式,更在医疗AI领域树立了跨模态协同的典范。其提出的双阶段异构网络架构,为解决其他医学图像中的多类别、多尺度分割问题提供了可复用的技术框架。特别是在处理具有高度空间异质性和形态多样性的病灶时,HEL-Net展示了显著优于传统单架构模型的优势,标志着多模态协同学习在医学图像分析中的新突破。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号