《Neural Networks》:FA-Mamba: Frequency Attention Driven Mamba for Multimodal Remote Sensing Classification
编辑推荐:
多模态遥感分类中提出FA-Mamba模型,结合频率注意力机制与坐标融合注意力,有效抑制多源数据噪声冗余,提升HSI与LiDAR融合分类精度至95.84%,并在三个公开数据集验证优于Transformer和Mamba方法。
Danian Yang|Daixun Li|Jitao Ma|Yibing Lu|Yunsong Li|Leyuan Fang|Weiying Xie
中国陕西省西安市西安电子科技大学综合服务网络国家重点实验室,邮编710071
摘要
多模态遥感分类在资源勘探和灾害监测等领域发挥着重要作用。然而,不同模态之间的噪声和冗余往往阻碍了有效的特征融合。现有的方法主要依赖于Transformer和Mamba架构。基于Transformer的模型存在计算成本高和长距离依赖性建模效率低的问题,而Mamba虽然提高了效率,但仍然主要集中在时空域建模上,对频域的探索有限。这限制了融合表示的判别能力。为了克服这些限制,我们提出了FA-Mamba,一种基于频率注意力驱动的Mamba多模态遥感分类网络。FA-Mamba通过线性复杂度确保了计算效率,同时自适应地增强了不同模态之间的互补信息,并有效抑制了跨模态数据中的噪声和冗余,从而实现了更稳健的特征融合。此外,为了有效捕捉全局上下文信息,我们设计了一种坐标融合注意力(CFA)机制。该方法通过整合不同方向的空间线索,结合了不同模态之间的长距离相关性,有助于更全面地理解互补的多模态信息。在三个公开的多模态遥感数据集上进行的广泛实验证明了我们方法的有效性。FA-Mamba的性能优于现有最先进的方法,平均总体准确率为95.84%。我们的代码可在以下链接获取:
https://github.com/dnyeee/FA-Mamba。
部分摘录
引言
遥感技术与深度学习的深度融合将土地覆盖分类带入了智能化的新时代(Wang等人,2022年;Xie等人,2020年;Xiong等人,2022年)。随着卷积神经网络(CNN)的不断发展,单模态遥感数据在分类任务中现已能够达到非常高的准确率(Wu等人,2024年)。然而,在涉及复杂和多样地理环境的实际应用中,...
多模态分类
传统的多模态融合方法通常包括亚像素级融合和像素级融合。例如,Gao等人基于空间分辨率的差异实现了数据融合(Gao等人,2006年),而Amorós-López等人直接融合了对齐的像素数据(Amorós-López等人,2013年),这种技术常用于同一平台的多传感器数据。随着深度学习的进步,出现了越来越多的技术,...
方法
本节介绍了我们提出的FA-Mamba框架的整体架构,该框架旨在通过有效整合高光谱成像(HSI)和激光雷达(LiDAR)数据来实现多模态遥感分类。该框架采用状态空间驱动的设计来增强局部依赖性建模,同时利用频域注意力来捕捉不同模态的互补特征。在以下小节中,我们将详细介绍各个组成部分,包括FAM模块和CFA...
数据描述
在实验中,我们使用了三个广泛采用的多模态遥感数据集:Houston Debes等人(2014年)的数据集、Trento数据集以及MUUFL Gader等人(2013年)的数据集来评估分类性能。Houston2013数据集由IEEE GRSS数据融合竞赛提供,涵盖了城市区域,包含15种不同的土地覆盖类型,结合了高光谱图像(144个波段)和激光雷达数据(1个波段),空间分辨率为2.5米。Trento数据集是在农村地区获取的...
结论
本文提出了FA-Mamba,这是一种新颖的多模态遥感分类网络,通过集成空间结构模型(SSM)和频域增强技术,解决了高分辨率遥感图像中的长距离依赖性建模和频域表示问题。FA-Mamba利用SSM的全局建模能力高效捕捉多模态数据中的长距离依赖性,同时保持线性计算复杂度。通过引入自适应...
CRediT作者贡献声明
Danian Yang:撰写 – 审稿与编辑,撰写 – 原稿撰写,可视化,验证,软件实现,方法论设计,数据分析,概念化。Daixun Li:撰写 – 审稿与编辑,可视化,方法论设计。Jitao Ma:撰写 – 审稿与编辑,概念化。Yibing Lu:概念化。Yunsong Li:监督工作。Leyuan Fang:监督工作。Weiying Xie:撰写 – 审稿与编辑,监督工作。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。作者声明没有利益冲突。