迈向最大化特征效率:基于径向基注意力的一体化图像修复方法
《Pattern Recognition》:Towards Maximizing Feature Efficiency: All-in-One Image Restoration via Radial Basis Attention
【字体:
大
中
小
】
时间:2025年12月18日
来源:Pattern Recognition 9.1
编辑推荐:
朴哲勋|崔贤德
韩国首尔,韩国大学电气工程学院
摘要
近年来,一体化图像恢复技术取得了显著进展,展现出巨大潜力。然而现有方法往往受固定参数限制,且难以应对新的图像退化类型。本文提出了一种新型的通用恢复网络——RBaIR(径向基注意力图像恢复),该网络显著提升了在多种
朴哲勋|崔贤德
韩国首尔,韩国大学电气工程学院
摘要
近年来,一体化图像恢复技术取得了显著进展,展现出巨大潜力。然而现有方法往往受固定参数限制,且难以应对新的图像退化类型。本文提出了一种新型的通用恢复网络——RBaIR(径向基注意力图像恢复),该网络显著提升了在多种图像退化情况下的特征利用效率与恢复性能。具体而言,我们设计了动态径向基注意力模块DyRBA,通过径向基函数网络分离通道间的依赖关系,从而最大化特征独立性。DyRBA还引入了数据驱动的交叉注意力机制,以实现灵活高效的空间特征提取。为解决基于注意力的模型中存在的注意力稀释问题,我们进一步提出了混合卷积专家结构MoCE。MoCE通过多核设计捕捉多种局部及深度相关的特征模式。最后,我们通过引入专门的损失函数,如Kullback-Leibler散度损失,提升了模型的泛化能力。大量实验表明,RBaIR在性能上处于领先水平,相比现有方法,在参数更少的情况下仍能在一体化及单任务恢复场景中取得更好效果。相关PyTorch代码可访问https://github.com/towardsDLCV/RBaIR。
引言
图像恢复是计算机视觉领域的经典任务,其目标是通过消除图像采集过程中出现的各种不良因素(如噪声、雨雾等),恢复出高质量、清晰的图像。这些不利条件会导致专为各类视觉应用设计的算法性能出现大幅波动。但由于该问题的不适定性——同一张退化图像可能对应多种合理恢复结果——要获得理想的清晰图像仍是一项艰巨挑战。因此,人们开发了多种基于深度学习的恢复方法[1][2],这些方法相较于传统方法表现更为出色[3]。
近期的图像恢复研究主要集中在能够用单一模型处理多种图像退化的“一体化”算法上。为此人们设计了多种方案,包括多种编解码器架构[5]、对比学习方法[6]以及两阶段框架[7]。其中,视觉提示学习方法[8][9]通过包含退化信息的提示,引导模型主动恢复不同类型退化后的图像。尽管这些方法在一体化图像恢复方面展现出巨大潜力,但它们限制了退化感知提示中类别表示的嵌入空间,进而妨碍了对未来可能出现的新类型退化的训练。在某些研究中,人们还尝试采用专家驱动的设计来处理多种图像退化问题。UniUIR[10]结合了Mamba-MoE结构以及来自Depth Anything V2[11]的深度信息,用于指导专家路由与特征调节。MoCE-IR(复杂度专家混合结构)[12]则引入了基于输入难度动态分配的复杂度感知专家,其路由机制灵感来源于弹簧动力学。UniUIR[10]依赖于外部深度先验和领域特定假设,而MoCE-IR[12]则采用粗略路由策略,并辅以平衡损失函数。
径向基函数是一种实值函数,其数值仅取决于到中心的距离。这类函数旨在通过多个以不同位置为中心的径向核函数(如高斯核)的组合来逼近目标信号。径向基函数网络的输出表现为这些径向基函数的线性组合,每个函数都由相应的可调系数加权。因此,由于理论建模的优势,径向基函数机制具备学习更复杂、非线性且相互独立的特征表示的潜力。不过,由于优化方面的挑战[14][15][16],很少有研究探讨这一机制。
本文提出的RBaIR是一种一体化图像恢复网络,它配备了动态径向基注意力模块DyRBA,该模块能够有效分离特征并捕捉通道间的依赖关系。具体而言,DyRBA被集成到主网络的解码器中,包含退化感知交叉注意力机制DaCA以及具有动态系数的径向基函数网络。标准的空间注意力机制由于计算和内存开销较大,其在低视觉条件下的适用性有限。因此,受可变形变换器[17]的启发,我们设计了DaCA机制,通过从潜在特征中计算可学习且灵活的偏移量,实现基于数据的空间交叉注意力。这些偏移量能够确定输入图像中退化因素的位置,并将其映射为键值对,从而使网络能够高效地执行注意力分配。随后,潜在特征会在径向基函数网络中通过多个中心位置不同的高斯核进行分解。这些分解后的特征再通过动态系数进行聚合,而这些系数是由两个特征的外积生成的——一个是潜在特征,另一个是经过退化编码的特征。此外,为确保模型的泛化能力,我们引入了Kullback-Leibler散度损失作为衡量分布差异的损失函数。
我们研究了哪些机制能有效应对不同类型的图像退化。基于Restormer的统一模型[4][8][18]通过捕捉图像中不同区域间的长距离依赖关系,在图像去噪和去雨雾任务中表现优异。但在雾天或低光条件下,由于注意力稀释现象,这些模型的性能会下降——此时注意力分数会均匀分布,试图提升图像的整体亮度和对比度。为此,我们提出了混合卷积专家结构MoCE,该结构包含具有不同大小和形状(矩形或条状)感受场的专家模块。MoCE通过提升模型捕捉局部及深度相关特征的能力,弥补了基于Restormer的RBaIR在处理全局图像退化时的不足。
我们的主要贡献如下:
•所提出的通用恢复网络RBaIR基于DyRBA模块。DyRBA通过DaCA机制为主网络提供支持,实现了灵活高效的特征探索;同时,径向基函数网络则有效分离了通道间的依赖关系,提升了特征利用效率。
•我们设计了MoCE结构,用于改进基于Restormer的模型的恢复性能。这类模型容易因注意力稀释而无法有效应对某些类型的图像退化,而MoCE则能够基于CNN操作器的局部上下文特征集实现协同优化。
•在一体化图像恢复任务中,我们额外引入了两类损失函数:LCR损失用于优化特征表示空间并增强抗噪声能力,LKLD损失则用于避免极端预测,进一步提升模型的泛化性能。
•大量实验结果表明,RBaIR在各种图像恢复任务中均表现出优于现有方法的性能,达到了当前最佳水平(见图1)。
章节摘录
图像恢复
图像恢复的任务是从退化的图像中恢复出清晰图像。目前该领域主要分为单任务图像恢复和多任务图像恢复两大类。虽然单任务图像恢复已得到广泛研究[19][20][21],但多任务图像恢复——即用单一模型处理多种图像退化问题——目前仍相对较少被研究[22][23][24]。早期的研究[5]试图通过设计多个编码器来修改特征空间。
方法
本节介绍了所提出的RBaIR的核心原理。3.1节阐述了该网络的整体结构流程。3.2节和3.3节分别详细介绍了该方法的核心组成部分DyRBA和MoCE。
实验
本节描述了在两种不同设置下进行的实验:一体化设置和单任务设置。在一体化设置中,我们在包含三种或五种不同类型图像退化的数据集上训练统一的模型。而在单任务设置中,则分别训练针对特定类型图像退化的独立模型。
结论与未来工作
本文提出了一种新型的一体化恢复模型RBaIR,该模型通过有效分离通道间的依赖关系,能够高效地从各种图像退化带来的异常与复杂性中提取特征,从而实现可靠的图像恢复。RBaIR的核心模块——动态径向基注意力机制DyRBA——通过基于数据驱动的、可移动偏移量的交叉注意力机制,实现了灵活高效的特征探索。此外,……
CRediT作者贡献声明
朴哲勋:撰写——初稿、可视化、验证、软件、资源、方法论、概念设计。崔贤德:撰写——审稿与编辑、验证、监督、方法论、资金获取、正式分析、概念设计。
利益冲突声明
作者声明存在以下可能被视为利益冲突的财务利益/个人关系:崔贤德表示,文章发表费用由首尔国立科学技术大学提供。其他作者则声明没有已知的可能影响本文研究成果的财务利益或个人关系。
致谢
本研究得到了首尔国立科学技术大学的财政支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号