《Optics & Laser Technology》:Contour-aware diffusion model for restoring atmospheric turbulence-degraded facial images
编辑推荐:
摘要大气湍流会导致远距离人脸成像中出现空间不均匀的模糊和几何畸变,给可靠的图像复原带来巨大挑战。针对这些挑战,本文提出一种融合轮廓先验和通道注意力的扩散模型,用于复原受大气湍流退化的人脸图像。我们构建了一个先验提取网络VGG-PriorFace,从湍流退化的人脸图像中提取轮廓
摘要
大气湍流会导致远距离人脸成像中出现空间不均匀的模糊和几何畸变,给可靠的图像复原带来巨大挑战。针对这些挑战,本文提出一种融合轮廓先验和通道注意力的扩散模型,用于复原受大气湍流退化的人脸图像。我们构建了一个先验提取网络VGG-PriorFace,从湍流退化的人脸图像中提取轮廓信息,辅助扩散模型建立更真实的图像分布。通过在扩散模型中引入通道注意力机制,使框架能够优先利用中间层的高维特征。实验结果表明,我们的改进方案显著提升了复原图像的视觉感知,增强了人脸特征、轮廓和背景的清晰度。
引言
湍流退化具有高随机性和不可预测性的特点,一直是光学成像中的持续挑战。在此过程中,大气湍流导致光线偏离原始路径,造成随时间和空间不规则变化的几何畸变和视觉模糊。这种现象在智能交通和远程监控等实际应用中十分普遍。与其他类型的图像退化相比,由于湍流固有的随机性,湍流效应更难建模和消除[1]。因此,专门用于复原湍流退化图像的方法已成为计算机视觉领域的重要研究焦点。
一些研究人员开发了针对受湍流退化的时间序列图像的复原技术,以抑制光学成像中的湍流效应。这些方法从多帧中捕捉丰富的原始图像信息,通常能取得令人满意的复原结果。早期,研究人员采用了幸运帧成像技术来消除湍流效应,如文献[2]、[3]、[4]、[5]、[6]、[7]中所述。这些方法从具有不同程度退化的多帧中选择一组相对清晰的图像帧或图像块,并将它们融合以重建清晰图像。虽然幸运帧方法通常能产生精确的复原结果,但主要适用于处理弱湍流畸变。随着深度学习的快速发展,各种神经网络方法被提出以解决湍流退化图像复原等逆问题[8]、[9]、[10]。Yuan等人[11]在生成对抗网络(GAN)中采用了金字塔注意力机制,以捕捉图像的细节和结构特征,从而提高了湍流时空复杂性下的复原效果。Liu等人[12]在GAN中采用了配准模块(AM)和特征融合模块(FFM)以实现湍流强度无关的图像复原。利用多帧湍流图像的类似深度学习方法还包括[13]、[14]。序列图像包含时间和空间的双重信息,可以有效缓解湍流畸变。然而,其庞大的数据量带来了高昂的计算成本。此外,在人脸识别和天文观测等实际任务中,序列图像难以获取。这些因素限制了多帧图像复原方法的应用。
单帧湍流图像复原技术已成为在实际场景中缓解湍流效应的关键研究方向。研究人员提出了使用确定性神经网络框架的解决方案。Xu等人[15]模拟了人视网膜细胞,提出了一种确定性网络CMFNet,以重建符合人类视觉的结果。Lau等人[16]开发了一个双路径模块,分别去除变形和模糊,提出了ATFaceGan网络,在人脸复原和识别任务中表现良好。除了湍流特定的复原外,其他图像退化问题的研究也为湍流消除提供了有益的参考。Zhang等人[17]构建了MC-Blur基准,包含多种类型的模糊,为图像去模糊方法提供了系统评估平台。对于确定性的非湍流退化复原方法,Tian等人[18]设计了一个轻量级网络(DSRNet),增强和细化特征以提高模型的鲁棒性。Li等人[19]设计了傅里叶调制注意力(FMA)和动态混合层(DML),在超分辨率成像和运动去模糊等任务中取得了优异的性能。Zhao等人[20]提出了EchoSR,建模局部、多尺度和全局上下文信息,并采用跨尺度重叠融合来实现高效轻量级图像超分辨率。Jin等人[21]提出了MB-TaylorFormer V2,通过泰勒展开近似Softmax注意力,并引入具有多尺度补丁嵌入的多分支架构,以降低计算复杂度并建模由粗到细的图像特征。其他确定性复原方法包括[22]、[23]。尽管CNN和Transformer等确定性神经网络主导了单帧图像复原架构,但这种确定性方法通常导致重建图像缺乏精细细节[23]。近年来,采用生成策略的扩散模型凭借其强大的分布学习能力,在各种单帧复原任务中展现了出色的性能。Ren等人[25]将多尺度结构引导引入条件扩散模型,生成了更清晰的复原结果。?zdenizci等人[26]使用扩散模型复原图像块,然后将其合并为完整的清晰图像,实现了模型复原与图像之间的尺寸无关性。Zhu等人[27]将传统的即插即用方法整合到扩散采样框架中,以提高扩散模型的计算效率。Nair等人[28]提出了一种用于复原大气湍流退化图像的扩散模型,从退化图像开始进行去噪,从而减少了推理时间并提高了复原结果的保真度。基于扩散模型的其他单帧图像复原方法包括[29]、[30]、[31]。扩散模型学习自然图像的分布模式,使它们能够产生合理且细节丰富的重建结果,克服了确定性网络在复原湍流退化图像方面的局限性。然而,单帧图像包含的信息有限,难以提供复原所需的原图中的丰富结构和细节。这一限制降低了基于扩散的恢复的有效性。
融合先验信息为单帧湍流退化图像中的信息不足提供了一种有效的解决方案。一些研究人员利用先验信息作为额外的网络输入或约束来提高复原精度。Yasarla等人[32]使用蒙特卡洛dropout估计作为U-Net的先验信息,在真实和模拟的湍流退化图像中都取得了可靠的复原结果。Mao等人[1]提出了TurbNet,采用自注意力机制从湍流畸变图像中提取特征并减轻湍流引起的退化。Xia等人[33]利用扩散模型生成湍流退化图像的潜在先验,辅助U-Net网络完成复原。Lu等人[34]提出了一种用于盲人脸复原的视觉风格提示学习框架,利用扩散模型在预训练生成模型的潜在空间中生成视觉提示,并使用这些提示来引导人脸特征重建。
在上述研究的基础上,本文提出了一种用于复原单帧湍流退化人脸图像的扩散模型。通过将人脸轮廓先验纳入扩散模型,所提出的方法增强了网络的复原性能。图1展示了在时的复原结果。本文的主要贡献如下:(1) 将通道注意力机制纳入扩散模型的U-Net中,有助于抑制冗余信息并增强其提取关键特征的能力。(2) 构建卷积网络从湍流退化图像中提取人脸轮廓作为先验信息,并利用方差计算增强轮廓特征,解决了单帧输入信息不足的问题,提高了扩散模型复原的保真度。(3) 在人脸轮廓先验和通道注意力机制的协同作用下,所提出的方法有效抑制了湍流引起的模糊和畸变,同时产生了更清晰的背景、更平滑的人脸轮廓和更忠实的人脸细节。
本文其余部分组织如下:第2节详细介绍了所提出的湍流退化图像复原方法,包括先验信息提取和所提出的扩散模型。第3节介绍了实验数据集、设置和结果,展示了所提方法的复原性能和泛化能力。第4节总结了本文的贡献。
章节片段
方法
本文开发了一种融合人脸轮廓先验的扩散模型,以实现湍流退化人脸图像的有效复原。构建了一个轮廓先验提取网络VGG-PriorFace,使用小尺寸卷积核和适中深度从湍流退化人脸图像中提取人脸轮廓作为先验信息。基于U-Net架构构建扩散模型,融合通道注意力机制以增强网络的
数据准备
从真实场景中获取成对的湍流退化和清晰图像极具挑战性,因此本文使用P2S [40]来模拟湍流退化。与其他模拟方法[5]、[6]、[39]相比,P2S将相位域转换为空间域,这能够在遵循物理原理的同时快速模拟湍流退化。我们选择了Flickr-Faces-High-Quality(FFHQ)数据集[41]来验证人脸复原结果,图像
结论
本文提出了一种融合轮廓先验的扩散模型,用于复原受大气湍流退化的人脸图像。设计了VGG-PriorFace从湍流退化图像中提取人脸轮廓,并将其作为先验信息提供给扩散模型。进一步将通道注意力机制整合到U-Net中,以减少高维特征中的通道冗余。轮廓先验和通道注意力机制共同提高了背景清晰度、人脸
CRediT作者贡献声明
孙少宇:撰写—审阅与编辑,撰写—初稿,可视化,验证,概念化。孟品超:撰写—审阅与编辑,概念化。尹伟石:形式分析。周林华:调查。
利益冲突声明
作者声明,他们没有已知的可能影响本文所报告工作的竞争经济利益或个人关系。
致谢
本研究得到吉林省自然科学基金(20260102233JC)的支持。
孙少宇|孟品超|尹伟石|周林华