《Pattern Recognition Letters》:FEMSF-Net: A Frequency-Enhanced Multi-Scale Fusion Network for Kidney Tumor Segmentation
编辑推荐:
•由于肿瘤结构复杂,肿瘤分割仍然是一项挑战。•提出了一种频率增强多尺度融合网络(FEMSF-Net)。•频域增强改进了特征表示。•FEMSF-Net在KiTS19、KiTS23和LiTS17上取得了优越的性能。引言肾癌是泌尿系统最常见的恶性肿瘤之一,其发病率稳步上升,对全球人
- •
由于肿瘤结构复杂,肿瘤分割仍然是一项挑战。
- •
提出了一种频率增强多尺度融合网络(FEMSF-Net)。
- •
频域增强改进了特征表示。
- •
FEMSF-Net在KiTS19、KiTS23和LiTS17上取得了优越的性能。
引言
肾癌是泌尿系统最常见的恶性肿瘤之一,其发病率稳步上升,对全球人类健康构成了重大威胁。肾癌具有侵袭性强和易发生远处转移的特点。一旦疾病进展至晚期,预后较差且生存率显著下降[1]。此外,肾脏的复杂解剖结构以及肿瘤的异质性形态和不清晰边界,如图1所示,为临床诊断和治疗规划带来了巨大挑战。因此,准确评估肿瘤范围和精确描绘病变边界对于手术切除和放疗规划至关重要。
随着深度学习的快速发展,卷积神经网络(CNN)已成为医学图像分割的主导范式[2],[3]。其中,以U-Net为代表的编解码器架构[4]得到了广泛应用。尽管CNN在医学图像分割中取得了显著成功,但在建模高频细节方面仍存在局限性。
作为经典的信号分析工具,傅里叶变换在医学图像处理中有着悠久的应用历史[5],[6]。在深度学习时代,尽管空域卷积曾一度主导,但频域方法因其在全局信息建模和高频细节表示方面的优势而重新受到关注[7]。在本文中,我们将傅里叶变换引入肾脏肿瘤分割,并提出了一种频率-空间协同建模框架(FEMSF-Net),以解决边界模糊和显著尺度变化的问题。
本文的主要贡献总结如下:
- •
我们提出了一种基于频域增强和多尺度融合的层次化建模网络FEMSF-Net。它对浅层和深层特征进行针对性优化,从而实现细粒度细节和高级语义信息的协同建模。
- •
我们在浅层设计了一个频域特征增强模块,通过频域变换来增强高频信息表示,从而提高模型感知肿瘤边界细节的能力。
- •
我们在深层提出了一种多尺度特征建模模块,通过集成不同感受野的特征,增强了网络捕获不同尺度目标的能力。
- •
我们在跳跃连接中提出了一种简单而有效的频域掩码策略,该策略能够自适应地分解和调节低频结构信息与高频细节信息,从而提高特征融合和细粒度表示。
部分摘要
基于CNN的分割
卷积神经网络(CNN)已被广泛应用于医学图像分割[2],[3]。现有研究主要集中在改进网络架构和增强特征表示能力方面。例如,ResUNet[8]将残差连接引入编解码器架构中,跨层恒等映射有助于缓解深度网络训练过程中的梯度消失问题,同时增强特征传播和表示,从而改善
方法
图2(a)展示了所提出的FEMSF-Net的整体架构。该网络构建于传统的编解码器框架之上,同时引入了差异化设计以适应浅层和深层特征的显著特点。具体而言,在浅层阶段,集成了FDFE模块以在频域中分解和重构特征,从而增强高频细节并提高模型对边界和的敏感度
数据集
所提出的FEMSF-Net在KiTS19和KiTS23数据集上进行了训练和评估。所有实验均使用PyTorch实现,并在配备NVIDIA GeForce RTX 2080 Ti GPU的工作站上进行。初始学习率设置为1e-3,并使用随机梯度下降(SGD)进行优化。模型训练了400个epoch。在实验中,随机选择20%的病例作为验证集,其余病例用于模型训练。所有CT体积
结论
本文提出了一种新颖的医学图像分割框架,称为FEMSF-Net。通过集成频域特征增强和多尺度特征建模,所提出的方法利用了这两个组件在不同网络层次上的互补特性,使模型能够同时捕获细粒度边界信息和高级语义特征。
尽管FEMSF-Net展现出有前景的整体性能,但在若干方面仍面临挑战
CRediT作者贡献声明
孟清辉:方法论、概念化。杨灿灿:形式化分析。彭燕军:项目管理。陈雪:监督指导。
利益冲突声明
作者声明,他们不存在已知的竞争性经济利益或个人关系,这些关系可能影响到本论文中报告的工作。
孟清辉|杨灿灿|彭燕军|陈雪