面向少样本条件的可见光-红外-SAR多模态图像融合目标识别方法研究

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》:Cross-Modality Fusion of Visible Light, Infrared, and SAR Images Under Few-Shot Conditions for Target Recognition

【字体: 大 中 小 】 时间:2026年01月05日 来源:IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 5.4

编辑推荐:

  本文针对少样本条件下多源异构遥感图像融合识别面临的数据异质性、特征冗余等挑战,提出了一种多源异构图像融合识别(MHIF)方法。研究团队设计了跨模态采样(CMS)模块,通过最大遍历(MT)方法增强样本多样性;开发了图像质量评估(IQA)模块,实现多模态特征的自适应加权融合;提出了模态内双向引导交叉注意力(IBGC)模块,保留关键模态信息。实验结果表明,该方法在少样本多模态图像融合识别任务中表现出显著优势,为复杂环境下目标识别提供了有效解决方案。

  
随着遥感技术的飞速发展,我们从空中获取地球表面信息的能力越来越强。就像人类用眼睛看世界一样,各种遥感传感器如同赋予了无人机和卫星不同的"视觉能力":可见光相机能捕捉丰富的色彩细节,红外传感器可以感知温度变化,而合成孔径雷达(SAR)则具备全天候观测能力。然而,每种传感器都有其局限性——可见光在夜间或恶劣天气下效果不佳,红外图像分辨率有限,SAR图像解读困难。如何将这些各具特色的"眼睛"看到的信息有效融合,成为提升目标识别准确性的关键挑战。
特别是在实际应用中,我们常常面临"少样本"困境:获取大量高质量、多模态的配对遥感图像成本高昂且耗时。这就好比要训练一个能识别各种车辆的智能系统,却只有少量不同角度的照片、热成像和雷达图像。传统方法在这种情况下往往表现不佳,容易出现过拟合、特征冗余等问题。
针对这一难题,发表在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上的研究提出了一种创新的多源异构图像融合识别(MHIF)方法。该方法如同一位善于整合多方信息的智能指挥官,能够有效协调来自不同传感器的信息,在样本有限的情况下实现精准的目标识别。
研究人员开发了四个关键技术模块:跨模态采样(CMS)模块采用最大遍历(MT)方法,像一位精明的数据管家,通过智能组合不同模态的图像,显著提升了训练样本的多样性;图像质量评估(IQA)模块则扮演质量检测官的角色,为不同质量的图像分配合适的权重,确保高质量信息得到充分重视;模态内双向引导交叉注意力(IBGC)模块则像是信息协调员,让基础特征和模态特有特征相互指导,共同提升特征表达能力;最后的分步融合策略则如同精心设计的装配线,逐步整合优化后的特征,减少冗余信息干扰。
研究方法的核心技术
本研究采用实验室自主采集的多源异构数据集,包含可见光、红外和SAR三种模态图像,涵盖巴士、Car-A、Car-B三类目标。通过CMS模块的MT方法实现数据增强,利用IQA模块从分辨率、对比度、信噪比(SNR)等指标评估图像质量并生成融合权重。IBGC模块通过深度可分离卷积提取基础特征,结合模态特异性特征提取器(如可见光的双对立色彩机制、红外的温度梯度特征、SAR的散斑抑制特征),采用双向注意力机制实现特征增强。最终通过分层特征提取器(HFE)和深度特征提取器(DFE)进行渐进式融合,结合加权焦点损失和质量正则化项进行模型优化。
研究结果
跨模态采样模块的有效性验证
通过对比实验发现,CMS模块显著提升了模型在少样本条件下的性能。在标准少样本数据集上,添加CMS模块后,可见光、红外和SAR图像的单模态识别准确率分别从66.67%、64.71%和68.42%提升至73.91%、70.59%和76.32%。该模块通过智能组合策略,在保证类别平衡的同时增强了数据多样性。
图像质量评估模块的优化效果
IQA模块通过多维度质量指标(可见光的色彩准确性、红外的NETD、SAR的相干性等)动态评估各模态图像质量,并生成融合权重。实验结果表明,该模块能有效提升模型对高质量信息的关注度,在部分低质量样本测试集上,三模态融合识别准确率达到了92.11%,显著优于未使用质量加权的基线模型。
模态内双向引导注意力机制的性能提升
IBGC模块通过基础特征与模态特异性特征的相互引导,实现了关键信息的精准保留。可视化结果显示,经过双向注意力增强后的特征在t-SNE图上呈现出更清晰的类别边界,各类别样本点聚类效果显著改善,混淆矩阵中的误识别率明显降低。
渐进式融合策略的优势体现
研究比较了单模态、双模态和三模态融合的性能差异。实验数据表明,三模态融合在标准样本集上达到了97.37%的识别准确率,较单模态和双模态分别提升5%和3%。特别是在处理包含模糊、遮挡和噪声的低质量样本时,三模态融合展现了更强的鲁棒性。
与现有方法的对比分析
与VGG16、ResNet50等传统深度网络以及MMFF、MVFC等多模态融合方法相比,MHIF方法在各项指标上均表现出显著优势。在三分量少样本标准数据集上,其准确率(97.37%)、召回率(97.37%)和F1分数(97.35%)均优于对比方法,证明了该方法的先进性和有效性。
结论与展望
本研究提出的MHIF方法为解决少样本条件下多源异构图像融合识别问题提供了创新性解决方案。通过CMS模块的数据增强、IQA模块的质量自适应加权、IBGC模块的特征增强以及渐进式融合策略,有效克服了数据异质性、特征冗余和模态干扰等挑战。
该方法的重要意义在于其在实际应用中的强大适应性:当某一模态图像因环境因素或设备问题出现质量下降时,其他模态的有效信息仍能保证系统的稳定识别。这种冗余设计思想使得该方法在复杂遥感应用场景中具有重要实用价值。
值得注意的是,该方法在保持高性能的同时,还显著降低了计算复杂度。CMS模块的MT方法将组合复杂度从指数级O(fv,j×fi,j×fs,j)降低到线性级O(fmax),大大提升了算法效率。
未来研究可进一步优化图像质量评估模块,扩展其在更复杂低质量图像场景下的适用性。同时,探索该方法在其他多模态融合任务中的迁移应用,将有助于推动整个遥感图像分析领域的技术进步。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号