基于双分支全局-局部融合网络的高分辨率遥感图像语义分割方法研究

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》:DGLFNet:A Dual-Branch Global-Local Fusion Network for Remote Sensing Image Semantic Segmentation

【字体: 大 中 小 】 时间:2025年12月17日 来源:IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 5.4

编辑推荐:

  本文针对高分辨率遥感图像语义分割中全局上下文建模与局部细节保留难以兼顾的问题,提出了一种融合Mamba架构与CNN的双分支全局-局部融合网络(DGLFNet)。通过引入多尺度视觉状态空间(MSVSS)模块增强全局特征捕获能力,结合基于小波变换的自适应小波融合模块(AWFM)在频域实现多尺度特征融合。在ISPRS Vaihingen、Potsdam和LoveDA Urban数据集上的实验表明,该方法在mIoU、mF1和OA指标上均优于现有主流模型,显著提升了边界精度和小目标分割效果。

  
随着卫星和无人机技术的飞速发展,亚米级高分辨率遥感影像已能清晰呈现地物细节特征,如建筑边缘纹理、道路网络拓扑和多层植被结构。然而,遥感图像固有的多尺度特性(从小型车辆到广阔农田)、显著的类内差异(如不同材质屋顶均归类为"建筑")以及复杂背景干扰(如阴影和遮挡)给传统分割方法带来巨大挑战。尽管卷积神经网络(CNN)在局部特征提取方面表现优异,但其有限感受野难以捕捉长距离空间关系;而Transformer模型虽能建模全局上下文,却面临高计算复杂度和内存开销的瓶颈。
为解决这一难题,济南大学李光奇等人提出了一种创新性的双分支全局-局部融合网络(DGLFNet)。该网络巧妙结合了Mamba架构的线性复杂度全局建模能力与CNN的局部特征提取优势,通过频域小波变换实现多尺度特征融合。DGLFNet采用ResNet18作为主干编码器,VMamba作为辅助编码器,通过多尺度视觉状态空间(MSVSS)模块捕获多尺度全局特征,并设计自适应小波融合模块(AWFM)实现频域特征增强。解码器采用特征金字塔网络(FPN)结构,通过自上而下路径和横向连接有效融合多尺度特征。
关键技术方法包括:(1)构建双分支编码架构,分别通过CNN和Mamba分支提取局部细节与全局上下文;(2)设计MSVSS模块中的双向选择性扫描(SS2D)机制,沿四个轴向(水平、垂直和对角线)扫描特征图;(3)开发DAGA模块,通过全局结构路径(GSP)和局部细节路径(LDP)并行处理特征;(4)采用离散小波变换(DWT)将特征分解为LL、LH、HL、HH分量,通过自适应卷积(AC)模块动态聚合卷积核注意力。实验使用ISPRS Vaihingen(33张图像)、Potsdam(38张图像)和LoveDA Urban(1833张图像)三个数据集,图像预处理为256×256或1024×1024像素块,采用AdamW优化器和多尺度数据增强策略。
研究结果通过系统实验验证了DGLFNet的优越性能。在ISPRS Vaihingen数据集上,DGLFNet在整体精度(OA)、平均交并比(mIoU)和平均F1分数(mF1)三个关键指标上均达到最优水平,分别为91.78%、82.65%和90.26%。特别是在小目标"车辆"类别上,F1分数达到89.18%,较次优方法提升2.9%。可视化结果清晰显示,DGLFNet在建筑边界和道路边缘等细节处具有更精确的分割效果。
在ISPRS Potsdam数据集上的实验进一步证实了方法的普适性。DGLFNet在建筑和车辆类别的F1分数分别达到97.03%和95.47%,全面超越对比方法。放大视图的定性比较表明,该方法在边缘保持和小目标分割方面具有明显优势,这得益于AWFM模块对高频信息的有效保留。
针对LoveDA Urban数据集的实验结果显示,除"水体"和"农业"类别外,DGLFNet在其他所有类别上都取得了最优的IoU值。特别是在"建筑"、"道路"和"裸地"类别上,IoU分别达到61.60%、61.98%和42.30%,体现了模型对复杂城市场景的适应能力。
消融实验深入分析了各模块的贡献。当单独移除DAGA模块时,模型在大型建筑轮廓保持上出现明显退化;而移除AWFM模块则导致局部细节模糊和边界质量下降。MSVSS模块在参数量(53.61M)和计算量(36.44G FLOPs)上均优于对比的注意力机制,展现了良好的效率优势。自适应卷积模块在卷积核数量K=4时达到最佳平衡,进一步验证了模块设计的合理性。
研究结论表明,DGLFNet通过双分支协同架构和频域融合技术,有效解决了高分辨率遥感图像语义分割中全局上下文建模与局部细节保留的平衡问题。Mamba架构的线性复杂度特性使模型能够高效处理长序列数据,而小波变换的引入则为多尺度频域特征分析提供了新思路。该方法在三个权威数据集上的卓越表现,证明了其在复杂遥感场景下的实用价值,为后续研究提供了重要参考。特别是在边缘精度和小目标分割方面的突破,对城市规划、环境监测等实际应用具有重要意义。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号