基于混合Mamba与卷积架构的轻量化遥感图像超分辨率方法研究

《Neurocomputing》:Remote sensing image super-resolution via hybrid mamba and convolutional architectures

【字体: 大 中 小 】 时间:2026年04月06日 来源:Neurocomputing 6.5

编辑推荐:

  本文聚焦遥感图像超分辨率(RSISR)任务,提出一种融合卷积网络与Mamba状态空间模型的混合架构(ConvMambaSR),旨在兼顾局部高频细节恢复与全局长程依赖建模。该研究设计了核心计算单元ConvMambaB,通过渐进残差优化机制整合卷积特征提取、通道混合MLP增强与Mamba状态空间建模,构建ConvMambaGroup主干。实验表明,该方法在多个遥感数据集上取得了与当前轻量化模型相当或更优的重建性能,同时保持了较低的参数量与计算复杂度,为高分辨率遥感影像的实时处理与应用提供了高效解决方案。

  
在遥感监测、环境评估、城市规划等领域,高分辨率(HR)影像能够提供更丰富的纹理细节与结构信息,对目标识别、特征检测等任务至关重要。然而,受传感器性能、成像条件等因素限制,实际获取的遥感图像(RSIs)往往分辨率较低,难以满足高端应用需求。传统的超分辨率(SR)技术,如基于插值的方法,容易导致图像模糊、细节丢失;而基于重建的方法虽能提升质量,但计算代价高昂。近年来,基于卷积神经网络(CNN)的方法在细节恢复方面取得显著进展,但由于其感受野有限,难以捕捉全局上下文信息。Transformer模型通过自注意力机制能够建模长程依赖,但其二次计算复杂度与高参数量限制了在轻量化、大规模遥感场景中的应用。与此同时,基于状态空间模型(SSMs)的Mamba框架以线性计算复杂度实现了高效的长序列建模,为遥感图像超分辨率提供了新的可能。但Mamba在恢复复杂高频细节方面仍存在局限,且现有方法较少将自注意力机制与状态空间模型有效融合。为此,研究人员在《Neurocomputing》上发表了题为“Remote sensing image super-resolution via hybrid mamba and convolutional architectures”的论文,旨在设计一种轻量化的混合架构,以平衡重建精度与计算效率,推动遥感图像超分辨率技术的实用化发展。
为开展研究,作者团队构建了ConvMambaSR框架,其核心包括浅层特征提取、深层特征提取与图像重建三大模块。浅层特征通过3×3卷积提取;深层特征由多级ConvMambaGroup堆叠实现,其中每个Group由多个ConvMambaB块组成,ConvMambaB集成了卷积网络(ConvNet)、Mamba模块与多层感知机(MLP),并通过LayerNorm进行规范化。在技术方法上,研究采用了深度可分离卷积、点卷积、GRN(Group Response Normalization)增强通道竞争,以及谱分组Mamba(Spectral Mamba)模块进行谱维长程依赖建模。特征融合阶段,通过拼接与1×1、3×3卷积进一步细化聚合特征,最终经由亚像素上采样与3×3卷积输出高分辨率图像。实验部分基于三个公开遥感数据集进行性能评估,并与当前主流轻量化模型进行对比。
模型架构设计
研究提出的ConvMambaSR框架包含浅层特征提取、深层特征提取与图像重建三大模块。浅层特征通过3×3卷积提取,深层特征由多层ConvMambaGroup堆叠提取,其中每个Group由多个ConvMambaB块构成,ConvMambaB集成了卷积局部特征提取、通道混合MLP增强与Mamba长程依赖建模,并通过残差连接进行渐进优化。最后,通过特征拼接与卷积细化,结合亚像素上采样实现图像重建。该设计在保持线性计算复杂度的同时,有效整合了局部细节与全局上下文信息。
谱Mamba模块
为增强对遥感图像谱维信息的建模,作者提出了谱Mamba(Spectral Mamba)模块。该模块将输入特征沿通道维度分为G组,每组分别通过Mamba进行序列建模,再通过SiLU激活与组归一化(Group Normalization)稳定训练,最后通过残差连接与原始特征融合。这一设计显著提升了模型对多光谱、高光谱遥感图像中谱间依赖的捕捉能力,减少了通道冗余。
消融实验与性能对比
通过在UCMerced、AID、WHU-RS19三个遥感数据集上进行系统实验,研究表明:1)引入Mamba模块能够显著提升模型对全局上下文的建模能力;2)卷积网络与Mamba的混合设计在恢复高频细节方面优于单一Mamba或Transformer架构;3)谱分组策略有效提升了通道利用率与特征表达效率。与当前轻量化模型(如Rep-Mamba、SRFormer-L、OmniSR、SMFANet、FeNet等)相比,ConvMambaSR在参数量与计算复杂度相近的情况下,取得了具有竞争力的峰值信噪比(PSNR)与结构相似性(SSIM),尤其在纹理复杂、结构细密的遥感场景中表现突出。
研究结论与意义
本研究针对轻量化遥感图像超分辨率任务,提出了一种混合卷积与Mamba的架构ConvMambaSR。该模型通过ConvMambaB核心单元,实现了局部高频细节与全局长程依赖的高效协同建模,并结合谱Mamba模块增强了谱维特征交互。大量实验验证了该方法在保持较低计算开销的同时,能够获得与当前先进轻量化模型相当甚至更优的重建质量。该工作不仅为遥感图像超分辨率提供了一种新的高效解决方案,也为状态空间模型在视觉任务中的融合应用提供了有益探索,对推动高分辨率遥感影像在实时监测、智能解译等领域的实际应用具有重要意义。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号