HyM3S:融合多尺度空谱特征与序列建模的高光谱图像分类新方法

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》:HyM3S: Integrating Multi-Scale Spatial–Spectral Features with Sequence Modeling for Hyperspectral Classification

【字体: 大 中 小 】 时间:2025年12月25日 来源:IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 5.4

编辑推荐:

  本文针对Transformer模型在高光谱图像(HSI)分类中计算复杂度高、难以捕捉多尺度特征的问题,提出了一种融合多尺度空间-光谱特征与Mamba序列建模的HyM3S模型。该研究通过并行多尺度卷积提取空谱特征,结合通道注意力机制增强判别性信息,并利用Mamba模型的线性复杂度实现长程依赖建模。在四个基准数据集上的实验表明,HyM3S在分类精度和噪声抑制方面均优于现有方法,为HSI分类提供了新的解决方案。

  
随着遥感技术的快速发展,高光谱成像技术通过捕获数十至数百个连续光谱波段,为地球观测带来了前所未有的能力。与传统RGB图像相比,高光谱图像(HSI)携带丰富的鉴别信息,在资源勘探、环境监测和军事侦察等领域具有广泛应用。然而,高光谱图像分类这一基础任务面临着巨大挑战:如何充分利用其高维光谱信息和空间特征,实现精确的像素级分类。
目前,高光谱图像分类方法主要分为传统机器学习方法和深度学习方法两大类。传统方法如支持向量机(SVM)、随机森林等依赖手工设计的特征,难以挖掘高光谱数据中的复杂内在信息。而基于卷积神经网络(CNN)的方法虽能自动学习特征,但受限于局部感受野,难以建模长程依赖关系。近年来,Transformer模型凭借其强大的全局上下文建模能力在高光谱分类中展现出潜力,但其自注意力机制带来的二次计算复杂度限制了其在细粒度特征提取中的应用。
最近,一种新型结构化状态空间模型——Mamba模型崭露头角,它通过状态空间方程克服了传统长序列处理模型的性能瓶颈,在保持强大序列建模能力的同时实现了线性计算复杂度。然而,原始Mamba设计并未考虑高光谱数据特有的多尺度光谱-空间特征,难以同时保留细粒度纹理细节和全局上下文信息,导致在小尺度目标和复杂边界处丢失关键线索。
为了解决这些问题,哈尔滨师范大学的研究团队在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上发表了题为"HyM3S: Integrating Multi-Scale Spatial-Spectral Features with Sequence Modeling for Hyperspectral Classification"的研究论文,提出了一种新颖的高光谱图像分类框架HyM3S(高光谱多尺度空间-光谱序列模型)。
该研究采用了多尺度特征提取器(MSFE)并行提取空间和光谱特征,通过方向多尺度融合(DMSF)模块整合水平和垂直方向特征,最后利用MambaBlock实现线性复杂度的长程依赖建模。关键技术方法包括:使用3×3和5×5空间卷积与3×1和5×1光谱卷积并行提取多尺度特征;引入通道注意力机制自适应增强重要通道;通过方向多尺度融合模块捕获空间依赖性;利用状态空间模型实现高效序列建模。
研究结果显示,HyM3S在四个基准数据集上均取得了最优性能。在PaviaU数据集上,总体准确率(OA)达到96.87%,平均准确率(AA)为97.24%,Kappa系数为95.86%;在Houston数据集上,OA为96.33%,AA为96.88%;在HanChuan和HongHu农业场景数据集上,OA分别达到94.19%和95.11%。特别是在复杂地物类别如金属板、裸土、沥青等分类中,准确率超过99%,展现了出色的分类能力。
可视化分析表明,HyM3S生成的分类图噪声点显著减少,分割效果更加平滑,能够准确捕捉小尺度目标和复杂边界。在HongHu和HanChuan数据集上,该模型有效突出了不同类别间的局部差异,输出了更清晰完整的边界轮廓。消融研究进一步验证了各模块的贡献:单独使用MambaBlock可将基线准确率从92.74%提升至93.95%;加入方向多尺度融合模块后,性能进一步提升至96.87%。
复杂度分析显示,HyM3S具有6.85M参数和0.98G FLOPs,训练时间约21.15秒,在保持较高精度的同时实现了较好的计算效率。超参数分析表明,当嵌入维度为256、块大小为13×13、使用2个MambaBlock时,模型性能达到最优。核大小配置实验证明,结合小中型核的多尺度设计比单一核大小效果更好。
该研究的创新性主要体现在四个方面:首先,提出了端到端的HyM3S框架,首次将多尺度空谱处理与线性复杂度Mamba状态空间模型相结合;其次,设计了多尺度特征提取器模块,通过并行空谱卷积和通道注意力增强多尺度表示能力;第三,引入了方向多尺度融合模块,通过建模方向性长程依赖提升复杂地物结构的区分能力;最后,通过序列扁平化将融合特征输入Mamba,有效缓解了一维扫描中的信息丢失问题。
这项研究为解决高光谱图像分类中的多尺度特征捕捉和计算效率问题提供了创新性解决方案,通过巧妙结合卷积神经网络的多尺度特征提取能力和Mamba模型的线性序列建模优势,在高光谱遥感图像分析领域具有重要的理论意义和实际应用价值。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号