TriDermNet-HAGO:一种结合层次化梯度协同优化的多分支Token-边缘-区域融合网络,用于卓越的皮肤病变分析
《Biomedical Signal Processing and Control》:TriDermNet-HAGO: A multi-branch token–edge–region fusion network with hierarchical gradient-orchestrated optimization for superior skin lesion analysis
【字体:
大
中
小
】
时间:2026年10月12日
来源:Biomedical Signal Processing and Control 5.7
编辑推荐:
## 摘要
皮肤病变分割和分类是黑色素瘤早期检测和计算机辅助皮肤病学诊断中的两个关键问题。然而,皮肤镜图像存在许多困难,例如边界复杂、颜色多样、对比度低,以及毛发、气泡等各种伪影。为了解决这些困难,本文提出了一种名为TriDermNet的新型多分支网络架构,该架构通过特征专
## 摘要
皮肤病变分割和分类是黑色素瘤早期检测和计算机辅助皮肤病学诊断中的两个关键问题。然而,皮肤镜图像存在许多困难,例如边界复杂、颜色多样、对比度低,以及毛发、气泡等各种伪影。为了解决这些困难,本文提出了一种名为TriDermNet的新型多分支网络架构,该架构通过特征专门化和任务交互来联合执行分割和分类。该网络架构包括一个区域分支、一个边缘分支和一个令牌分支。区域分支用于从多尺度图像中学习上下文特征,边缘分支用于细化分割边界并去除伪影,令牌分支用于从图像中获取全局诊断证据。所提出的网络架构在三个皮肤病变数据集上进行了评估:ISIC 2016、ISIC 2017和ISIC 2018。实验结果表明,TriDermNet在皮肤病变分割和分类中取得了具有竞争力的基线性能,在ISIC 2016、ISIC 2017和ISIC 2018数据集上的Dice分数分别为95.12%、94.38%和95.47%,分类AUC超过97.6%。所提出的TriDermNet框架为皮肤癌筛查提供了可靠的解决方案。为了解决反向传播过程中的收敛不稳定、任务不平衡和局部最优问题,本文提出了一种名为HAGO的新型层次化自适应梯度协调优化算法,该算法使用三级层次化梯度调节机制来稳定每层的更新过程、平衡多任务梯度并引入扰动以避免局部最优。所提出的TriDermNet-HAGO框架在ISIC 2016、ISIC 2017和ISIC 2018数据集上取得了更好的分割和分类精度,Dice分数分别为96.63%、95.81%和96.24%,分类AUC超过98.7%。
## 引言
皮肤癌已经成为一个严重的健康隐患,因为其发病率不断上升以及延误诊断带来的严重后果。其中,黑色素瘤最为严重,因为在延误诊断的情况下,它扩散迅速,会降低生存概率。皮肤镜检查已成为皮肤病诊断的常规技术,因为它揭示了肉眼不可见的皮肤底层模式。然而,通过分析该技术获取的图像是复杂的,并且高度依赖于皮肤科医生的技能。这导致了计算机辅助诊断工具的开发,通过分析皮肤镜技术获取的图像并提供准确结果来辅助医生进行诊断[1]。
对皮肤镜技术获取的图像进行分割是计算机辅助诊断过程的关键部分。这涉及在皮肤病变周围绘制边界,将其与正常皮肤分开[2]。这个过程很重要,原因有三:它有助于将分析集中仅限于病变区域并忽略图像的其余部分,它有助于从图像中提取特征,并且它有助于对病变进行分类。尽管这是一个关键部分,但它是一个复杂的过程,因为病变在大小、形状、颜色和边界清晰度方面差异很大。它们可能很小或很大,可能有各种颜色,并且可能具有不清晰的边界。此外,通过皮肤镜技术获取的图像还包含伪影,如毛发、血管、标尺、凝胶气泡和光照效应,这些可能会混淆计算机并导致错误的分割[3]。
深度学习的重要进展推动了医学图像分割达到新的高度,以U-Net式的编码器-解码器结构在皮肤病变分割等分割任务中处于领先地位。注意力机制的加入帮助模型关注最显著的区域,而来自不同尺度的特征使其能够处理不同大小的病变。在病变分类方面,CNN和Transformer继续在构建强表征以进行判别性决策方面表现出色[4]。
然而,当前技术状态存在两个根本性限制:首先,分割和分类通常被视为独立的或松散相关的问题,共享一个常见的骨干架构。这种方法排除了利用分割和分类之间相互作用的的可能性,从而在每个单独任务中取得更好的性能。例如,精确的分割可以用于通知诊断决策,而能够实现判别性决策的高层特征(例如黑色素瘤病变具有不规则边界)可用于通知分割模型以在分割任务中取得更好的性能。其次,大多数模型使用具有固定损失权重的标准优化器,如Adam或SGD。在多任务学习的背景下,这可能导致梯度冲突,引起不稳定的训练行为、次优最小值和在不同数据集和成像条件下泛化能力差的问题[5]。文献中显然存在一个空白,需要一个能够以协调的方式同时建模区域语义、边界结构和全局诊断证据的框架,同时还需要一种能够解决梯度不稳定性并以不需要繁琐的人工超参数调整的方式平衡任务的优化策略。
为了弥合这一空白,我们提出了TriDermNet-HAGO。它通过三个专门的通路整合了分割和分类任务的好处。区域通路探索病变的密集多尺度上下文,边缘通路增强边界并减少噪声伪影的影响,最后,令牌通路收集全局信息以辅助分类任务。三个通路通过令牌-边缘-区域融合(TER-Fuse)组件相互通信。这使模型能够利用分类任务的信息来辅助分割任务,反之亦然。除了提出的模型之外,我们还引入了一种名为HAGO的新优化方法,即层次化自适应梯度协调优化。这是一种新的优化范式,以更好地保证模型的稳定性。它基于三个模块:每层的梯度稳定化、整个任务的动态梯度平衡以及基于熵的扰动以防止模型过早收敛。
- TriDermNet模型提出了三分支学习机制,同时学习病变区域、病变边界和病变线索,从而实现分割和诊断的同时进行。
- TER-Fuse模型为两个任务提供了双向握手机制,以提高边界精度和诊断精度。
- HAGO模型提出了层次化优化机制,以稳定多任务的梯度,防止任何单一任务压倒其他任务,并改善收敛稳定性。
- 模型在三个不同的皮肤镜数据集上进行广泛验证:ISIC 2016、ISIC 2017和ISIC 2018,涵盖不同的病变类型和成像条件。
- 基线TriDermNet在ISIC 2016、2017和2018数据集上的Dice分数分别为95.12%、94.38%和95.47%,分类AUC超过97.6%。当包含HAGO模块时,分数分别提升至96.63%、95.81%和96.24%。
本文遵循标准结构。在引言之后,第2节讨论皮肤病变分割、多任务学习和优化策略的背景和相关工作。第3节描述TriDermNet模型和HAGO优化策略。第4节讨论数据集、训练、评估指标和基线模型。第5节展示所提出模型的结果和实验。第6节总结全文并提出未来研究方向。
## 相关工作
皮肤病变分析的方法论已经从传统的基于图像处理的方法转向了更高级的能够学习皮肤镜图像高度表征特征的方法。最近,开发需要最少人工标注的学习方法这一趋势势头不断增强。在一种方法中,Rahman等人[6]使用了一种无监督分类方法,结合先进的成像方法,进行了……
## 研究差距分析
**差距声明:** 文献表明,高准确率取决于两个关键要素:一方面,是一种针对区域含义、形状和广泛诊断特征的有结构的学习机制;另一方面,是一种解决多任务梯度冲突并确保稳定收敛而无需手动调整的优化机制。这表明需要提出一个具有区域、边缘和令牌专门化能力的统一模型架构,以及一种新的……
## TriDermNet-HAGO框架概述
TriDermNet-HAGO方法提出了一种全面的皮肤病变分割和分类方案,基于结构化的特征学习方法和自适应优化策略。该方案由三个特定的分支组成,每个分支专注于皮肤病变表示、边缘检测和伪影消除的特定任务,最后以紧凑令牌的形式提取全局诊断信号。这些分支相互连接……
## 数据集描述
为了测试该框架,我们在三个标准的皮肤镜图像集上进行了实验,即ISIC 2016、ISIC 2017和ISIC 2018。这些图像集是国际皮肤成像合作组织(ISIC)挑战赛的一部分,是评估皮肤病变分割算法的标准图像集。ISIC 2016训练集共有900张图像,测试集有379张图像,并附有各自的真实标注图像。这些图像大小不一,从679×453……
## 结果与讨论
ISIC 2016、2017和2018数据集上的分割和分类任务在表4中进行了详细划分。该表指出了训练、验证和测试图像的数量以及真实标注类型。最大的分类数据出现在ISIC 2018中,而平衡的分割划分可在ISIC 2016和2017中找到。如表中所示,标注变得更加复杂,在ISIC 2018中,一张图像包含多达五个掩膜,这证实了……
## 结论
皮肤镜图像分析对于皮肤癌早期诊断和改善患者预后是一项非常重要的任务。然而,当前方法面临多种挑战,如不规则形状的病变、不清晰的边界、伪影干扰、颜色变化以及分割和分类任务的不平衡。一些传统方法仅专注于分割或分类任务,而在联合模型中,则存在相关的问题……
## CRediT作者贡献声明
P. Nithin:写作——审阅与编辑、可视化、调查、方法论、项目管理、资源、验证、软件、概念化。
G. Muthulakshmi:写作——原始稿撰写、验证、可视化、方法论、资金获取、调查、项目管理、数据整理、正式分析、概念化、软件。
P. Dhivya:写作——原始稿撰写、验证、可视化、方法论、数据整理、概念化。
## 利益冲突声明
作者声明他们没有已知的会对其所报告的工作产生影响的竞争经济利益或个人关系。
P. Nithin | G. Muthulakshmi | P. Dhivya | P. Rajesh Kanna
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号