CODEX:用于伪影感知视频增强的压缩起源失真提取数据集

《Signal Processing: Image Communication》:CODEX: A Compression-Originated Distortion Extraction dataset for artifact-aware video enhancement

【字体: 大 中 小 】 时间:2026年09月30日 来源:Signal Processing: Image Communication 3.4

编辑推荐:

   •CODEX:一个包含75个压缩场景和3种编解码器的大规模数据集。•首个提供与编解码器无关的补丁级伪影图的CVQE数据集。•WaveletRefiner:用于伪影引导精化的轻量级模块。•在CODEX上训练的模型相比现有数据集产生的感知距离更低。•伪影图能够在多种VQE模型中实

  
  • •
    CODEX:一个包含75个压缩场景和3种编解码器的大规模数据集。
  • •
    首个提供与编解码器无关的补丁级伪影图的CVQE数据集。
  • •
    WaveletRefiner:用于伪影引导精化的轻量级模块。
  • •
    在CODEX上训练的模型相比现有数据集产生的感知距离更低。
  • •
    伪影图能够在多种VQE模型中实现自适应增强。

引言

在当前数字化环境中,每天有大量的视频数据被生成和消费[1]。因此,高效的存储和传输现在严重依赖于有损压缩标准,如H.264/AVC [2]、H.265/HEVC [3]和AV1 [4]。然而,压缩过程不可避免地引入了编码伪影,从而降低了视频的感知质量[5]、[6]、[7]、[8]、[9]、[10]。这种退化不仅影响了观看体验,还可能严重损害后续视频分析任务的性能[11]、[12]、[13]、[14]、[15]。因此,压缩视频质量增强(CVQE)已成为一个至关重要的领域,专注于恢复压缩视频的视觉保真度。
CVQE的进步高度依赖于高质量的基准数据集。为了培养具有强泛化能力的模型,这些数据集必须涵盖广泛的复杂性,包括多样的现代编解码器和各种编码配置。然而,现有的CVQE数据集[16]、[17]、[18]、[19]存在关键局限性。它们往往无法满足必要的多样性要求。更根本的是,这些数据集通常缺乏关于编码伪影的显式信息。尽管近期研究利用编码先验进行引导[19],但这些先验的编解码器特定性质限制了其泛化能力。这凸显了对一种基于与编解码器无关的信息和各种编码场景的可扩展解决方案的需求。
基准数据集中缺乏显式伪影信息直接影响模型开发。当前的CVQE模型[16]、[19]、[20]、[21]、[22]、[23]、[24]通常缺乏精确的伪影知识,这迫使它们无论局部退化如何都均匀地处理帧。这种均匀处理会产生次优结果,例如过度平滑干净区域和对严重伪影增强不足[8]。提升感知质量仍然是一个挑战,因为针对传统指标如PSNR或SSIM进行优化往往与人类感知关联较差[25]、[26]、[27]、[28]。因此,提供显式和详细伪影信息的基准数据集对于培养能够实现感知增强的模型至关重要[6]、[8]。
为解决上述局限性,本文提出了两项主要贡献,分别针对数据多样性和模型引导方面的挑战。首先,我们提出了压缩起源失真提取(CODEX),这是一个具有广泛压缩场景和多样内容的新大规模数据集。独特的是,它提供了与编解码器无关的伪影图,标注了伪影类型和位置(见图1)。其次,我们提出了WaveletRefiner(WR),一个轻量级精化模块。它通过在多种VQE模型中执行自适应精化来展示我们伪影图的实用性。本文的主要贡献总结如下。
  • •
    我们提出了CODEX,一个专为全面CVQE研究设计的多功能数据集。该数据集具有广泛的压缩场景、具有挑战性的自定义拍摄内容和更长的视频序列。这些要素共同确保了广泛的数据多样性和代表性。
  • •
    CODEX是首个提供与编解码器无关、补丁级伪影图且显式标注伪影类型和位置的CVQE数据集。这些伪影图为开发伪影感知增强模型提供了可靠且可解释的引导。
  • •
    我们提出了WR,一个轻量级后处理模块,可附加到现有VQE模型中。该模块由我们的伪影图引导,在波let域中执行自适应精化以减少感知退化。为了使WR能够在任何推理视频上实用使用,我们还提供了完整的伪影图生成资源。
  • •
    我们的大量实验验证了所提出贡献的有效性。我们展示了在CODEX上训练的模型相比在现有数据集上训练的模型取得了持续的增益。此外,WR模块降低了所有测试骨干网络的感知退化。

章节摘要

压缩视频质量增强

压缩视频质量增强(CVQE)领域专注于减少由有损压缩引起的编码伪影,如块效应、模糊和振铃效应。早期方法通常使用卷积神经网络(CNNs)处理单个帧以缓解空间伪影[20]、[23]、[29]、[30]、[31]、[32]。认识到单帧处理在时间一致性和复杂运动方面的局限性后,研究转向了多帧技术。这些方法……

源视频采集

CODEX数据集由总共500个源视频构建。所有源视频均以4K分辨率和60 fps采集。该数据集包含300个自定义拍摄的视频和200个从Inter4K数据集[46]中选出的序列。我们使用DJI Osmo Action 4拍摄自定义视频,并专门针对先前数据集中表现不足的具有挑战性的场景,如低光条件、多样化的日常活动和空中无人机镜头。所有自定义视频涉及……

动机

现有的应用均匀处理的VQE方法往往产生感知上不是最优的结果,如纹理过度平滑。这一问题出现的原因是,有损压缩在频率域中引入了非均匀失真[49],而均匀处理无法有效应对这一问题。为了克服这一挑战,我们提出了一个在波let域中的后处理阶段。小波具有出色的时空频率定位能力,能够精确地针对细节和伪影进行定向操作……

实验设置

为了评估我们数据集的优势,我们在两个数据集上比较性地训练了现有的VQE方法:提出的CODEX和广泛使用的MFQE2.0 [16]。这种方法旨在隔离仅由训练数据引起的性能差异。对于在MFQE2.0上训练的模型,我们严格按照其原始发表论文中的训练协议进行。为了公平比较数据集的影响,我们使用相同的协议在CODEX上训练这些模型。测试集包含18个标准JCT-VC……

结论

本文提出了CODEX,这是一个多功能数据集,旨在解决CVQE中的关键局限性,特别是伪影感知不足和基准多样性有限。CODEX的关键特性包括与编解码器无关的伪影图和多样化的压缩场景。这些特性使模型能够从多样化的真实失真中有效学习。实验结果表明,与在……上训练的模型相比,CODEX提升了VQE模型的性能和视觉清晰度……

CRediT作者贡献声明

董信林(Dong-shin Lim):撰写 – 初稿、软件、方法学、数据整理、概念构思。金东辉(Dong-hwi Kim):验证、调查。金恩智(Eunji Kim):验证、调查。朴相暎(Sang-hyo Park):撰写 – 审阅与编辑、监督、获取研究经费。

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢

本研究由庆北大学研究基金支持,2026年。
董信林(Dong-shin Lim)|金东辉(Dong-hwi Kim)|金恩智(Eunji Kim)|朴相暎(Sang-hyo Park)
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号