ML-Mamba:融合空洞扫描与双流状态空间模型的多标签遥感图像分类新方法

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》:ML-Mamba: A Dual-Stream State Space Model with Atrous Scanning for Multi-Label Remote Sensing Image Classification

【字体: 大 中 小 】 时间:2025年12月16日 来源:IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 5.4

编辑推荐:

  本文针对多标签遥感图像分类中目标分辨率不一致、标签语义特征利用不足以及语义信息与视觉特征互补关系探索不充分三大挑战,提出了一种名为ML-Mamba的多模态双流协同网络。该研究通过AMamba视觉编码模块、图优化语言编码器(GOLE)和双模态协作解码器(BCD)的协同设计,在UCM和DFC15数据集上分别取得了96.18%和97.46%的mAP评分,显著提升了多目标识别精度,为复杂地理场景的精细化感知提供了有效解决方案。

  
随着遥感卫星和成像技术的飞速发展,遥感图像数据正呈现指数级增长。这些蕴含复杂地表信息和丰富特征的数据资源在土地利用、生态监测、灾害响应等领域发挥着不可或缺的作用。然而,传统的单标签分类方法主要关注基于主导像素的土地覆盖类别,由于其处理多类土地覆盖类型和单个图像内丰富语义信息的内在局限性,已难以适应复杂的遥感场景。
多标签遥感图像分类(MLRIC)能够同时进行多类别分配,提供细粒度的图像感知,更好地表征遥感图像中的复杂场景和混合特征。但当前方法仍面临三大核心挑战:目标分辨率变化不一致导致特征提取困难;标签语义特征利用不足,特别是对于具有高类内方差的遥感图像(如沙漠与城市环境中"裸土"的语义模糊性);语义信息与视觉特征之间的互补关系探索不充分。
为解决这些挑战,刘帅和蒋相涛*研究人员在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上发表了题为"ML-Mamba: A Dual-Stream State Space Model with Atrous Scanning for Multi-Label Remote Sensing Image Classification"的研究论文,提出了一种模拟人类感知机制的多模态双流协同网络ML-Mamba。
该研究的技术方法核心包含三个创新模块:首先,AMamba视觉编码模块采用空洞二维选择性扫描(AS2D)技术,通过八方向扫描策略生成增强的视觉流特征;其次,图优化语言编码器(GOLE)利用图注意力网络动态调整语言特征表示;最后,双模态协作解码器(BCD)通过跨模态注意力机制优化特征融合,采用分组查询策略替代全局平均池化。
研究结果显示,ML-Mamba在UCM数据集上实现了96.18%的mAP,在DFC15数据集上达到97.46%的mAP,显著优于现有主流方法。消融实验证实了各模块的独立贡献:AMamba模块将UCM数据集的mAP从92.06%提升至93.87%;加入GOLE模块后进一步提升至95.25%;最终集成BCD模块达到最优性能96.18%。
视觉特征提取方面,AMamba模块通过AVSS编码器的双分支架构实现全局-局部特征平衡。全局分支采用AS2D技术捕获上下文信息,局部分支使用3×3卷积核提取细粒度细节。选择性融合(SF)块通过门控机制动态调节信息流,其中通道级统计量通过全局平均池化提取,生成C维统计量s以突出关键视觉信息。
语言特征生成方面,GOLE模块将标签集转换为自然语言描述,通过文本编码器生成固定维度的语言特征。利用GATv2图注意力网络捕获标签间依赖关系,经过两层处理后通过最大池化提取最显著特征,产生自适应权重调整初步标记表示。
跨模态融合方面,BCD模块通过双向交叉注意力机制实现视觉-语言流的信息对齐。语言到视觉的注意力以语言流作为查询,视觉流作为键和值;视觉到语言的注意力则相反。统一特征表示通过前馈层生成融合的高维特征表示SR。
在实验结果分析部分,研究者从多个维度验证了ML-Mamba的优越性。与主流算法对比显示,在UCM数据集上ML-Mamba以96.18%的mAP超越CDD的95.79%;在DFC15数据集上以97.46%的mAP优于IDA的96.92%。当输入分辨率提升至448×448时,性能进一步提升至97.23%(UCM)和99.10%(DFC15),证实了模型对高分辨率输入的适应能力。
每类分类任务比较分析表明,ML-Mamba在"灌木林"和"球场"等复杂背景类别中表现突出。t-SNE特征可视化显示,AMamba实现了明显的特征分离模式,而基线模型存在显著的特征纠缠。Grad-CAM注意力分布可视化进一步证实了ML-Mamba在目标区域捕获和细节注意力机制方面的优势,其激活区域与地面真实目标边界精确对齐。
标签预测结果显示,模型在大多数场景下对多标签特征都能进行准确预测,展现了处理复杂多标签分类任务的强大能力。尽管在个别复杂场景或部分遮挡情况下会出现误报(如图12(b)中的"水"标签)和漏报(如图12(j)中的"建筑"标签),但总体影响可忽略不计。
研究结论表明,ML-Mamba框架通过三个关键创新有效解决了多标签遥感图像分类的三大挑战:AMamba视觉编码器利用AS2D技术通过多方向扫描模式有效整合全局和局部视觉特征;标签语言编码器(GOLE)采用标签引导机制动态生成语义增强的语言表示,改善了重叠类别间的相关性建模;双模态协作解码器(BCD)通过抑制噪声冲突的注意力机制减少模态间融合噪声。
该研究的重要意义在于提出了一种新的多模态融合范式,为复杂地理场景的精细化感知提供了技术支撑。通过视觉与语言模态的协同整合,ML-Mamba在保持计算效率的同时显著提升了分类精度,为遥感图像在土地利用规划、环境监测、灾害评估等领域的实际应用提供了更可靠的解决方案。
然而,该框架仍存在一些局限性,包括在大规模数据集上的计算效率和可扩展性有待进一步验证,以及当前架构仅限于单图像分析,在时序建模方面的性能尚未探索。这些限制为未来研究方向指明了道路,包括开发计算高效模型变体,以及将框架扩展到时空分析以支持实时动态监测任务。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号