基于直方图退化表征学习的遥感图像去雾Transformer方法

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》:Remote Sensing Single Image Dehazing With Histogram Degradation Representation Learning

【字体: 大 中 小 】 时间:2025年12月25日 来源:IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 5.4

编辑推荐:

  本研究针对传统Transformer方法在遥感图像去雾中难以有效建模长距离空间依赖关系的问题,提出了一种基于直方图引导的HRSformer框架。该研究创新性地设计了直方图退化表征块(HDRB)和多专家调制块(MEMB),通过动态选择空间特征范围并协同处理具有相似退化模式的远距离像素,有效抑制了全局雾霾干扰。实验结果表明,该方法在多个公开数据集上均取得了最优性能,为遥感图像质量提升提供了新的技术路径。

  
在遥感技术飞速发展的今天,高质量的遥感图像已成为环境监测、资源勘查和国防安全等领域不可或缺的数据来源。然而,大气中的雾霾、烟雾和薄云等干扰因素会严重降低遥感图像的视觉质量,导致图像对比度下降、细节信息丢失,进而影响后续计算机视觉任务的可靠性。这种退化现象主要源于大气对光线的吸收和散射效应,使得获取的遥感图像出现失真和模糊。
传统去雾方法主要依赖于大气散射模型(ASM)和手工设计的先验知识,如暗通道先验(DCP)、雾线等。尽管这些方法在一定程度上能够恢复无雾图像,但由于其表征能力有限,往往会产生光晕伪影和颜色失真等问题。随着深度学习技术的发展,基于卷积神经网络(CNN)的方法在遥感图像去雾任务中取得了显著进展。CNN模型通过局部卷积核能够有效捕捉局部纹理特征和连续上下文信息,但其固有的局部性限制了对长距离依赖关系和全局雾霾分布的建模能力。
近年来,视觉Transformer(ViT)在特征表征学习方面展现出强大潜力,其自注意力机制能够捕获全局上下文信息。然而,现有的大多数基于Transformer的去雾方法为了降低计算复杂度,通常将自注意力限制在固定空间窗口或通道维度上,这种设计不可避免地限制了特征交互的范围,导致恢复图像中出现伪影和细节丢失。
值得注意的是,雾霾密度与像素亮度和饱和度之间存在强相关性。随着雾霾密度增加,图像饱和度降低而亮度与饱和度之间的差异增大。不同的雾霾分布可能产生相似的退化模式,表现为类似的遮挡和亮度分布特征。这一观察启发了研究人员设计一种显式利用直方图引导退化先验的Transformer框架,以更好地建模长距离依赖关系并提升遥感图像去雾性能。
针对上述挑战,研究人员在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上发表了题为"Remote Sensing Single Image Dehazing with Histogram Degradation Representation Learning"的研究论文,提出了一种名为HRSformer的直方图引导遥感图像去雾Transformer框架。
该研究采用了几个关键技术方法:首先,设计了直方图调制Transformer块(HMTB)作为核心组件,集成了直方图退化表征块(HDRB)和多专家调制块(MEMB);其次,HDRB通过特征重排和直方图自注意力机制,实现了对具有相似退化特征的远距离像素的协同处理;第三,MEMB采用混合专家(MoE)策略,自适应选择空间或通道调制专家,实现多尺度特征建模;最后,研究在SateHaze1k、RICE1和RRSD300等多个公开数据集上进行了系统验证,采用层次化编码器-解码器架构,通过L1损失和SSIM损失的组合优化模型性能。
整体网络架构
HRSformer采用层次化编码器-解码器架构,包含三个渐进特征处理阶段。编码器通过3×3卷积提取浅层退化特征,每层特征图按2的因子下采样,通道维度相应扩展。解码器执行相反操作,通过上采样恢复空间分辨率并压缩通道维度。跳跃连接将第i层编码器与第(N-i)层解码器特征拼接,增强特征传播稳定性。像素重排和像素反重排结合卷积管理特征尺度转换,最终通过残差学习范式重建高质量图像。
直方图退化表征块(HDRB)
HDRB通过特征重排操作改变特征的空间分布,将空间分散但具有相似退化模式的像素映射到直方图子空间。研究提出了两种特征重组策略:基于分箱的直方图重塑(BHR)和基于频率的直方图重塑(FHR)。BHR沿值轴将排序后的直方图特征划分为k个分箱,每个分箱聚合空间分散但具有相似退化统计特征的像素,建立不同雾霾浓度区域间的长距离语义关联。FHR沿频率轴划分特征,将每个频带视为独立子空间,专注于建模高频纹理变化。通过双注意力计算范式(分箱间注意力和分箱内注意力),HDRB有效结合全局上下文感知与局部重建保真度。
多专家调制块(MEMB)
MEMB由门控网络和N个专门配置的调制专家组成,采用混合专家策略自适应捕获多尺度和多粒度上下文特征。门控网络基于特征复杂度生成不同权重,通过TopK算法选择k个最高logits位置的专家。研究提出了空间调制和通道调制双专家框架,空间调制通过下采样和上采样操作聚合空间变化的上下文特征,通道调制通过通道维度压缩生成低秩编码特征,满足不同网络层的表达需求。
实验验证与结果分析
在SateHaze1k数据集上的定量评估表明,HRSformer在PSNR和SSIM指标上均优于15种代表性去雾方法。在薄雾、中雾和浓雾子集上,HRSformer分别达到25.68dB、26.58dB和23.70dB的PSNR值,显著超过对比方法。视觉比较和误差图分析进一步证实了该方法在保持结构细节和消除雾霾污染方面的优势。
在RICE1数据集上的实验结果显示,HRSformer在薄云场景中表现尤为突出,达到34.59dB的PSNR值和0.9533的SSIM值,相比第二优方法RSDformer有显著提升。在真实遥感数据集RRSD300上,尽管存在域间差异,HRSformer仍能有效恢复建筑纹理等细节,避免过度平滑,保持结构一致性和对比度。
模型效率分析表明,HRSformer在参数量(5.06M)和计算复杂度(56.3 GFLOPs)方面均优于多数对比方法,实现了性能与效率的良好平衡。消融研究系统验证了各组件的有效性,其中HDRB和MEMB的协同作用带来了显著的性能提升。专家数量消融实验表明,配置6个专家并激活其中3个(E6K3)能在恢复精度和计算效率间达到最优平衡。
研究结论与意义
该研究提出的HRSformer框架通过直方图退化表征学习和多专家调制机制,有效解决了遥感图像去雾中的长距离依赖建模和局部细节恢复问题。HDRB通过直方图引导的特征分组显式建模长距离依赖,MEMB通过混合专家策略自适应捕获多尺度上下文特征,两者的协同作用显著提升了去雾性能。
实验结果表明,HRSformer在多个公开数据集上均优于现有最先进方法,在定量指标和视觉质量方面均表现出色。该方法不仅为遥感图像去雾提供了新的技术路径,其核心思想也可推广到其他图像恢复任务中。研究还验证了该方法在图像去雨任务中的良好泛化能力,在Rain200H数据集上达到32.85dB的PSNR值,展现了广泛的适用性。
尽管MEMB引入了一定的计算复杂度,但通过稀疏专家设计提供了可调节的计算权衡选项,为不同部署场景提供了灵活性。未来的研究方向包括探索结合上下文和光谱信息的混合特征表示,以及开发自适应专家模型以优化计算成本与恢复质量之间的平衡,进一步拓展该方法在云去除、图像超分辨率和去噪等任务中的应用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号