多级空间-光谱双注入平衡网络:高保真遥感图像融合新方法
《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》:MSSDIBNet: Multiple Spatial–Spectral Dual-Injection Balance Network for Pansharpening
【字体:
大
中
小
】
时间:2025年12月08日
来源:IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 5.4
编辑推荐:
本文针对全色锐化中空间与光谱信息失衡问题,提出多级空间-光谱双注入平衡网络(MSSDIBNet)。通过级联式双注入架构,分别设计空间注入子网络(含全局/局部处理模块)和光谱注入子网络,结合自适应注意力机制,在WV3、GF2、QB数据集上实现最优指标(PSNR达48.62,QNR达0.9631),显著提升空间细节与光谱保真度的平衡能力。
当我们欣赏高分辨率卫星图像时,或许很少想到这些清晰画面的背后隐藏着遥感技术领域一道经典难题——如何将低分辨率多光谱图像(LRMS)与高分辨率全色图像(PAN)完美融合,生成既保留丰富光谱信息又具备清晰空间细节的高分辨率多光谱图像(HRMS)。这一被称为"全色锐化"(pansharpening)的技术,是遥感图像处理中的关键环节,直接影响地物分类、目标检测、云雾去除等应用的精度。
传统全色锐化方法主要分为成分替换(CS)、多分辨率分析(MRA)和变分优化(VO)三大类。成分替换方法通过替换特定域中的图像成分实现融合,但往往导致光谱失真;多分辨率分析方法虽能有效融入高频信息,却容易丢失纹理细节;变分优化方法虽在光谱和空间保真度上表现优异,但计算成本高昂、处理速度缓慢。随着深度学习技术的兴起,基于卷积神经网络(CNN)的方法通过端到端学习显著提升了性能,然而现有模型仍面临两大核心挑战:空间与光谱信息注入不平衡,以及两者之间相关性的忽视。
当前主流架构存在明显局限:一种是采用端到端跳跃连接直接学习HRMS与LRMS差异的单一空间注入架构,虽能有效增强空间细节,但光谱信息处理不足,且残差连接可能导致光谱信息传播不准确;另一种是空间-光谱双分支并行架构,虽能分别提取空间和光谱特征,但早期分支隔离切断了空间-光谱的内在关联,导致边缘错位和光谱特征不稳定。即使有研究尝试通过跨路径连接缓解这一问题,仍将空间和光谱处理视为松散耦合的任务,无法从根本上解决联合建模缺失导致的融合不稳定。
针对这些痛点,重庆邮电大学研究团队在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上发表了一项创新研究,提出多级空间-光谱双注入平衡网络(MSSDIBNet)。该网络借鉴迭代优化思想,通过级联式双注入阶段实现空间与光谱信息的交替 refinement。每个阶段包含空间注入子网络和光谱注入子网络的串行组合,形成"先增强后校正"的协同机制:空间子网络负责丰富空间细节,紧接着光谱子网络串行校正光谱偏差。这种设计使锐度与保真度交替优化且互不干扰,确保平衡优化和显著性能提升。
关键技术方法包括:1)构建级联双注入框架,每个阶段使用独立参数;2)空间注入子网络整合全局处理模块(GPM)和局部处理模块(LPM),分别通过扩展池化操作和多尺度卷积捕获全局与局部空间信息;3)光谱注入子网络采用与空间网络对称的简化结构,通过残差块调整光谱特征;4)设计自适应空间注意力(ASA)和自适应通道注意力(ACA)模块,基于此开发空间融合模块(SFM)和通道融合模块(CFM)实现特征优化集成;5)采用L1损失函数优化模型。实验使用WV3、GF2、QB三个遥感数据集,按Wald协议进行下采样和分块处理。
MSSDIBNet包含K个级联阶段,每阶段结构相同。输入特征首先通过卷积块处理上采样多光谱(UPMS)图像生成初始特征。空间注入阶段先使用ASA模块预处理需关注的空间区域,再通过空间注入模块将PAN图像提取的细节注入特征,最后通过跳跃连接保留关键信息。光谱注入阶段利用ACA模块处理特征后,通过光谱注入模块引入MS图像特征,补偿空间注入可能丢失的光谱信息。最终通过卷积重建层输出HRMS图像。这种串行管道设计确保原始图像直接指导学习,避免信息损失并保持跨域相关性。
空间注入模块采用全局-局部协同策略。全局处理模块(GPM)通过1×1卷积初步融合特征后,使用扩展池化操作(GMP和GAP)捕获全局特征,再经卷积层重塑为R3×3×C格式,最后通过双线性插值上采样生成与局部特征尺寸匹配的全局特征图。局部处理模块(LPM)采用多尺度卷积块捕获精细空间细节。基于ASA模块的空间融合模块(SFM)通过自适应空间注意力权重(ASAW)融合主辅特征,确保深浅层特征有效集成。
光谱注入模块为保持与空间网络的平衡,采用对称简化结构,内部全部使用1×1卷积。通过设置特定数量的残差块(经实验验证最优值为2)细化光谱特征,既保证灵活性又控制复杂度。类似SFM的通道融合模块(CFM)基于ACA机制权重集成特征,确保光谱恢复过程中空间信息不丢失。
针对传统注意力机制依赖最大/平均值导致信息损失的问题,ASA模块在通道维度前增加1×1卷积自主学习特征,同时结合局部3×3卷积和全局GMP/GAP操作,最后通过平均操作合成局部与全局特征,经Sigmoid激活生成权重特征。ACA模块引入压缩激励(SE)网络生成与输入相关的全局卷积核,通过矩阵乘法获取通道特征,再经重塑和1×1卷积转换为权重,实现更精细的光谱特征学习。
在WV3数据集(8光谱波段)上,MSSDIBNet在减少分辨率测试中SSIM达0.9732、SAM降至3.0417、PSNR达38.7245,全分辨率测试QNR指标达0.9292,均优于对比方法。视觉结果显示,该方法在密集房屋区域处理效果最佳,残差图像误差信息最少。在QB数据集(4光谱波段)上,即使光谱信息有限,SSIM仍达0.9629,PSNR达38.5997,对色彩差异大的区域保持优异的光谱保真度。在GF2数据集(低分辨率)上,SSIM达0.9790,PSNR达48.6244,边缘锐度和色彩自然度表现突出。
阶段数K的优化实验表明,K=2时网络在PSNR和SAM指标上达到最佳平衡(PSNR 38.60,SAM 4.47)。模块消融证明ASA、ACA、GPM、LPM、SFM、CFM每个组件均贡献性能提升,其中GPM的全局信息注入使PSNR提高0.28,ASA首层卷积通道数C=32时最优。残差块数N=2时光谱-空间平衡最佳。效率分析显示K=2时参数量8.4×105,在FPS(46)、FLOPs(4.9×1010)和内存消耗(193.9 MB)间取得最佳平衡。
研究通过级联双注入框架成功解决了全色锐化中空间与光谱信息的失衡问题。空间注入模块的全局-局部协同设计和光谱注入模块的对称简化结构,确保了两种信息在多个阶段的均衡优化。自适应注意力机制突破传统限制,实现更精细的特征学习。在三个遥感数据集上的全面实验证明,MSSDIBNet在客观指标和主观视觉质量上均优于现有方法,尤其对WV3多波段数据和QB少波段数据均展现强适应性。该研究为遥感图像融合提供了新的设计范式,其级联平衡思想可扩展至其他多模态融合任务。未来工作可探索将其他模型嵌入该框架验证普适性,或结合色彩知识进一步优化网络架构。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号