《Neurocomputing》:Temporal-adaptive sampling and artifact-guided reconstruction for compressed video super-resolution
编辑推荐:
视频超分辨率框架TSAR通过 artifact-guided 时域自适应采样(AIAD)、 artifact-guided 特征融合(AFF)及 metadata 引导增强(ME)模块,有效利用压缩视频中的跨帧信息,解决传统方法在压缩视频上重建质量差的问题,实现30 FPS实时推理。
Fu Zou|Yi Niu|Mingming Ma|Qingyu Luo|Fu Li
西安电子科技大学人工智能学院,中国西安710126
摘要
近年来,视频超分辨率(VSR)在理想输入条件下取得了显著进展。然而,在压缩视频上,性能会急剧下降,因为传统的均匀下采样常常会将高频细节与压缩伪影混在一起。为了解决这个问题,我们提出了时间自适应采样和伪影引导重建(TSAR)方法,这是一个用于压缩视频超分辨率中采样和重建联合优化的高效统一框架。TSAR提高了帧间信息利用效率和抗压缩失真的重建能力。具体来说,我们引入了伪影引导的帧间自适应下采样(AIAD)模块,在存在压缩伪影的情况下选择性地提取可靠的帧间信息。此外,还设计了伪影引导的特征融合(AFF)模块,用于动态聚合多尺度特征以抑制噪声并优化对齐。最后,我们加入了元数据引导增强(ME)模块,通过利用压缩视频流中嵌入的元数据来恢复高频细节。大量实验表明,TSAR在实现先进重建质量的同时,还能以30 FPS的速率进行实时推理。
引言
随着各个领域对高质量视频需求的不断增加,下游任务中对增强视觉内容的需求也在不断增加。这些任务包括医学成像[1]、[2]、卫星成像[3]、[4]、[5]、[6]和监控[7]。
在许多实际应用中,特别是在移动多媒体和远程监控中,视频数据主要使用H.264[8]等压缩标准进行传输和存储,以满足带宽和存储限制[9]、[10]。然而,激进的压缩不可避免地会引入量化伪影和信息损失,这严重降低了视觉保真度并影响了后续任务的性能。因此,视频超分辨率(VSR)被广泛采用作为一种有效的后处理技术,用于从压缩序列中重建高质量帧。现有的压缩VSR方法通常依赖于启发式或忽略伪影的时间采样,这可能会在重建过程中引入严重失真的帧,从而降低时间聚合的效果。此外,计算量大的双向架构往往导致冗余的时间建模,限制了实际效率。这些局限性表明,稳健的压缩VSR需要同时具备质量感知的时间采样和计算效率高的传播架构(图1)。
大多数先前的工作[11]、[12]、[13]、[14]、[15]、[16]通常使用低压缩率的高质量图像序列作为理想输入,例如直接使用双三次下采样帧或高斯平滑和提取的帧作为退化输入。因此,这些超分辨率(SR)方法在处理严重压缩的图像或视频时通常会产生明显的压缩伪影,这是由于压缩算法造成的。除非压缩非常轻量,否则直接应用现有的VSR模型会放大压缩伪影,导致重建的视频质量较差。一个简单的解决方案是对图像进行压缩,然后在其上训练现有的高级VSR模型[17]、[18],这将迫使VSR模型在训练过程中考虑压缩伪影。然而,尽管模型在重建性能上有所提升,但仍然存在明显的压缩伪影,重建的图像质量仍然较差。
为了解决上述问题,已经提出了几种专注于空间分辨率适应性的方法[19]、[20]、[21]、[22]、[23]。考虑到传输带宽有限的限制,[24]提出了一个空间可扩展的速率失真(RD)模型,该模型根据给定的比特率自适应确定最佳帧大小。为了在空间和时间维度上都具有适应性,[25]在编码过程中根据量化参数(QP)动态重新采样输入视频。然而,这些方法常常忽略了压缩VSR背景下的两个关键问题。首先,下采样引起的网格不一致性阻碍了准确的像素坐标匹配,而复杂的压缩伪影进一步模糊了运动边界并破坏了结构信息。其次,虽然一些模型[26]、[27]试图通过循环状态来降低架构复杂性,但在处理高度压缩的流时往往难以保持高重建质量。这突显了一个关键的权衡:虽然高保真度恢复压缩流通常需要高性能模型来实现更好的质量,但这往往需要高昂的运行时间,限制了其在对延迟敏感环境中的部署。
在本文中,我们提出了时间自适应采样和伪影引导重建(TSAR),这是一个旨在最大化压缩VSR中帧间信息利用效率的统一框架。通过联合优化自适应采样和伪影引导重建,TSAR确保保留了更多有信息量的特征,并有效提高了重建质量。首先,伪影引导的帧间自适应下采样(AIAD)模块利用压缩伪影图来指导非重复的时间采样过程。通过自适应选择包含丰富帧间信息的采样位置,并将采样从严重损坏的区域中引导出来,该模块保留了更多有信息量的特征。然后,伪影引导的特征融合(AFF)模块生成由伪影图引导的动态核,并使用它们来调节特征聚合,从而在抑制高伪影区域中的损坏信息的同时实现有效的多帧融合。最后,元数据引导增强(ME)模块利用压缩视频流中嵌入的运动向量和残差图来细化时间传播,并应用拉普拉斯增强,实现了具有时间一致性的结构细节重建。
我们的贡献总结如下:
•我们提出了TSAR,这是一个专为压缩视频流设计的视频超分辨率框架,能够在低计算成本下实现高质量重建。
•我们设计了AIAD模块,该模块在伪影图的引导下进行非重复的时间采样,提取有信息的帧间内容,同时避免严重损坏的区域。
•我们开发了AFF模块,该模块在伪影图的引导下将网格采样位置解码为动态核,并使用这些核来调节多帧特征聚合,从而提高对受伪影污染特征的鲁棒性。
•我们提出了ME模块,该模块利用压缩视频流中可用的运动向量和残差图来细化运动补偿的时间传播,实现了高频细节的时间一致性恢复。
章节摘录
视频超分辨率
随着视频应用的快速发展,基于深度学习的视频处理算法[28]、[29]变得越来越流行,特别是深度VSR方法[30]、[31]、[32]、[33]、[34]、[35]。大多数现有的VSR方法通常适用于非常轻量的压缩视频,并使用预定义的退化方式(如双三次下采样)进行训练。这些方法侧重于通过从时间信息中提取更多内容来提高高分辨率(HR)序列的质量
提出的方法
为了确保压缩视频帧的高保真度重建,我们提出了TSAR,这是一个高效的伪影引导模型,通过自适应时间采样和特征聚合在多种压缩退化条件下提高帧间信息利用效率。此外,TSAR利用压缩比特流中嵌入的元数据来稳定时间传播。具体来说,该模型利用运动向量实现低开销的时间对齐,并使用残差图进行引导
数据集和实现细节
在这项工作中,我们在REDS [41]和Vimeo90k [64]数据集上训练我们的模型。REDS数据集包含超过200个训练视频序列,每个序列包含100帧,分辨率为。Vimeo90k数据集包含65K个具有多样场景的视频序列,每个序列由7帧组成,分辨率为。为了构建压缩的LR输入,我们首先通过对HR帧应用标准差为1.6的高斯模糊,然后进行下采样来生成LR帧。
结论
在这项工作中,我们提出了TSAR,这是一个为多样化压缩条件下的稳健视频超分辨率设计的高效框架。通过引入伪影引导的帧间自适应下采样(AIAD)模块,我们的方法成功保留了关键的空间-时间信息,同时减轻了动态采样中的网格不一致性问题。伪影引导的特征融合(AFF)和元数据引导增强(ME)模块的集成进一步提高了重建过程的质量
CRediT作者贡献声明
Fu Zou:研究、形式分析。Yi Niu:方法论、资金获取。Mingming Ma:数据管理、概念化。Qingyu Luo:软件、资源。Fu Li:可视化、验证、概念化。
利益冲突声明
作者声明他们没有已知的可能影响本文报告工作的竞争性财务利益或个人关系。
致谢
这项工作得到了中国国家自然科学基金(项目编号62405238、62371356)的部分支持,以及中国博士后科学基金(项目编号2024M752512)的支持。
Fu Zou于2020年在中国湖北江汉大学获得测量与控制技术和仪器学士学位,目前正在西安电子科技大学攻读人工智能博士学位。他的研究兴趣包括图像压缩、视频超分辨率和无线通信。