《Pattern Recognition》:AddSR: Accelerating Diffusion-based Blind Super-Resolution with Adversarial Diffusion Distillation
编辑推荐:
本文提出AddSR方法,基于扩散模型和蒸馏技术解决盲超分辨率中的感知-失真失衡及高频细节恢复效率问题。通过引入时序自适应的ADD损失和预测驱动的自 refinement策略,在速度上比SeeSR快7倍的同时保持或提升恢复质量。
Ying Tai | Rui Xie | Chen Zhao | Kai Zhang | Zhenyu Zhang | Jun Zhou | Jian Yang
机构:南京大学新型软件技术国家重点实验室,江苏省,中国
摘要
基于稳定扩散(SD)的盲超分辨率方法在从低分辨率(LR)输入重建清晰、高分辨率(HR)图像方面展现了出色的生成能力,这些图像包含复杂的细节。然而,这些方法的实际应用往往受到效率低下的限制,因为它们通常需要数十甚至上百次采样步骤。受对抗性扩散蒸馏(ADD)的启发,我们结合了这种方法设计了一种高效且实用的盲超分辨率方法。尽管如此,仍存在两个挑战:首先,原始的ADD会显著降低结果的保真度,导致感知失真不平衡;其次,基于SD的方法对条件输入的质量非常敏感,而LR图像往往具有复杂的退化现象,这进一步影响了方法的有效性。为了解决这些问题,我们引入了时间步自适应ADD(TA-ADD)来减轻原始ADD引起的感知失真不平衡。此外,我们提出了一种基于预测的自优化策略来估计HR图像,从而能够在不增加额外模块的情况下提供更多高频信息。广泛的实验表明,我们的方法AddSR生成的恢复结果优于之前的基于SD的最先进模型(例如,比SeeSR快7倍)。代码可在以下链接获取:
https://github.com/NJU-PCALab/AddSR
引言
盲超分辨率(BSR)的目标是将经过复杂且未知退化的低分辨率(LR)图像转换为清晰的高分辨率(HR)版本。与传统的超分辨率方法[1]、[2]、[3]、[4]不同,后者的退化过程是单一且已知的,BSR旨在增强现实世界中退化的图像,赋予其更高的实用价值。
生成模型(例如生成对抗网络(GAN)和扩散模型)在BSR任务中表现出显著的优越性,能够实现逼真的细节。基于GAN的模型[5]、[6]、[7]、[8]通过对抗性训练学习了从输入LR图像到HR图像的映射。然而,在处理具有复杂纹理的自然图像时,由于对抗目标的不稳定性[7]、[9],它们往往难以生成令人满意的视觉结果。
最近,扩散模型(DM)[10]、[11]、[12]、[13]、[14]因其强大的生成能力和结合多种模态信息的能力而受到广泛关注。基于DM的BSR方法大致可以分为两类:一类是不使用稳定扩散(SD)先验的[15]、[16],另一类是使用SD先验的[17]、[18]、[19]。SD先验可以显著提高模型捕捉自然图像分布的能力[20],从而使生成的HR图像具有真实的细节。由于DM的迭代优化特性,基于扩散的方法通常优于基于GAN的方法,尽管效率较低。尽管已经提出了一些加速策略[21]、[22],但它们并不适合BSR场景,因为它们忽略了感知-失真之间的权衡。因此,迫切需要能够在保持高效率的同时提供卓越恢复质量的BSR模型,以应用于现实世界。
为了实现上述目标,我们从对抗性扩散蒸馏(ADD)[21]中获得了灵感,并将其引入BSR任务中。然而,仍然存在两个关键挑战:1)感知失真不平衡[23]、[24]、[25]:直接在BSR任务中应用ADD会导致保真度降低,从而造成感知失真不平衡,影响方法的有效性;2)高频细节的高效恢复:条件输入的质量会显著影响恢复结果[26]。之前的基于SD的方法[17]、[19]依赖于额外的退化去除模块来预处理LR图像,这降低了效率。因此,高效地获取包含更多高频信号的条件输入以指导恢复是实现高效盲超分辨率(BSR)的关键挑战。
在本文中,我们提出了一种基于ADD的新的AddSR方法,用于盲超分辨率,该方法同时增强了恢复效果并加快了基于SD的模型的推理速度。AddSR中有两个关键设计来解决上述问题:1)我们引入了时间步自适应对抗性扩散蒸馏(TA-ADD)损失函数,该函数设计了一个与时间步相关的双变量权重函数,以实现感知失真平衡,在较小的推理步骤中增强生成能力,而在较大的步骤中减少失真;2)我们提出了一种简单有效的策略基于预测的自优化(PSR),该策略利用预测噪声估计的HR图像来控制模型输出。这种方法能够高效地恢复高频成分,并使恢复结果包含更多高频细节。我们的主要贡献可以概括为三点:
• 据我们所知,提出的AddSR是第一个探索使用ADD进行高效且有效盲超分辨率的方法,其速度比SeeSR快7倍[18],同时提供了更好的感知质量。
• 我们引入了一种新的TA-ADD损失函数来解决原始ADD引起的感知失真不平衡问题,使AddSR能够在保持相似保真度的同时生成更优质的视觉效果。
• 我们提出了一种基于预测的自优化策略,以高效地恢复条件,并使恢复结果包含更多细节,而无需额外的模块。
相关工作
相关工作
基于GAN的BSR。近年来,BSR因其实用性而受到广泛关注。在SR任务中引入了对抗性训练[27]、[28],以避免生成过于平滑的结果。BSRGAN[5]设计了一种随机洗牌策略来扩大训练范围,以训练出全面的SR模型。Real-ESRGAN[6]提出了一种称为“高阶”的更实用的退化过程,用于合成真实的LR图像。KDSRGAN[29]估计了隐式退化表示,以辅助
AddSR概述
网络组件。 AddSR训练过程主要由三个组件组成:学生模型(权重为θ)、预训练的教师模型(权重固定为ψ)以及判别器(权重为?),如图2所示。具体来说,学生模型和教师模型具有相同的结构,学生模型是从教师模型初始化的。学生模型包含一个ControlNet[35],用于接收xLR或预测的,以控制输出
实验设置
训练数据集。我们使用DIV2K[40]、Flickr2K[41]、LSDIR的前20K图像以及FFHQ[42]的前10K面部图像进行训练。我们使用与Real-ESRGAN[6]相同的退化模型来合成HR-LR对。
测试数据集。我们在4个数据集上评估AddSR:DIV2K-val[40]、DRealSR[43]、RealSR[44]和RealLR200[18]。我们在DIV2K-val上进行了4种类型的退化处理,以全面评估AddSR的性能。除了RealLR200外,所有数据集都被裁剪为512×512尺寸,并退化为128×128的LR图像。
推理策略
在本节中,我们讨论了不同推理策略对AddSR的影响。我们主要考虑两个方面:1)混合PSR,如第5.1节所讨论的;2)不同正提示的影响,如第5.2节所探讨的。
讨论
在本节中,我们对ADD、SeeSR和我们提出的AddSR进行了比较。它们的架构图如图18所示。首先,ADD和AddSR之间的主要区别在于两个方面:1)ControlNet的引入:ADD最初是为文本到图像任务开发的,通常只接受文本作为输入。相比之下,AddSR是一个图像到图像的模型,需要额外的ControlNet从LR图像中获取信息;2)感知失真权衡
结论
在本文中,我们提出了AddSR,这是一个高效且实用的框架,它适配了稳定扩散先验用于盲超分辨率。(优势)为了解决原始ADD中固有的感知失真不平衡问题,我们引入了时间步自适应ADD(TA-ADD),它动态地为GAN和蒸馏损失分配不同的权重。与当前依赖于静态LR图像或外部预处理模块的基于SD的方法不同,我们的方法
CRediT作者贡献声明
Ying Tai:撰写——初稿。Rui Xie:撰写——审阅与编辑。Chen Zhao:撰写——审阅与编辑。Kai Zhang:撰写——审阅与编辑。Zhenyu Zhang:撰写——审阅与编辑。Jun Zhou:撰写——审阅与编辑。Jian Yang:撰写——审阅与编辑。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。