基于轮廓引导的潜在量化在可学习图像压缩中的应用

《Displays》:Contour-guided latent quantization in learned image compression

【字体: 大 中 小 】 时间:2026年09月29日 来源:Displays 3.9

编辑推荐:

   •本文提出了一种基于轮廓引导的潜变量量化框架,用于学习式图像压缩。•源自轮廓的结构先验信息可自适应地调节潜变量量化精度。•所提出的方法在编码效率和感知质量方面均达到了具有竞争力的水平。引言图像压缩旨在以最小化的存储和传输成本实现高保真重建。传统的有损压缩算法 [1]、[2]、

  
  • •
    本文提出了一种基于轮廓引导的潜变量量化框架,用于学习式图像压缩。
  • •
    源自轮廓的结构先验信息可自适应地调节潜变量量化精度。
  • •
    所提出的方法在编码效率和感知质量方面均达到了具有竞争力的水平。

引言

图像压缩旨在以最小化的存储和传输成本实现高保真重建。传统的有损压缩算法 [1]、[2]、[3]、[4] 通过精心设计的变换和熵编码方案取得了显著的成功。然而,这些方法通常依赖于固定的变换域和均匀的量化策略,与自然图像的结构特征并不十分契合。
深度学习近期的进展推动学习式图像压缩(LIC)取得了显著进步,神经网络使得表示、量化和熵建模的端到端优化成为可能 [5]、[6]、[7]、[8]、[9]。卷积神经网络(CNN)由于其捕捉局部空间相关性方面的有效性而被广泛采用。尽管如此,基于CNN的压缩模型主要关注局部特征聚合,往往缺乏显式利用高层结构信息的机制。最近,基于Transformer的方法 [10]、[11]、[12] 被引入用于建模长程依赖关系,但它们通常伴随着计算复杂度的增加和训练不稳定性。
尽管取得了上述进展,学习式图像压缩中一个重要的挑战是如何有效地将编码资源自适应地分配给图像不同区域非均匀的感知和结构重要性。现有研究通过引入重要性图、显著性信息或感兴趣区域(ROI)来引导比特分配、潜变量表示选择或特征自适应,探索了空间自适应和重要性感知的压缩 [13]、[14]、[15]、[16]、[17]、[18]。这些方法表明,空间非均匀编码可以通过将更多资源分配给视觉或语义上重要的区域来改善率失真权衡 [19]、[20]。然而,这些方法中使用的重要性表示通常源自通用的空间、显著性、语义或特定任务的线索 [14]、[15]、[16]、[17]、[18]、[19]、[20],而非显式建模对压缩失真特别敏感的结构边界。
心理物理学和神经生理学研究一致表明,人类感知优先关注结构线索,尤其是轮廓,而非均匀的逐像素信息 [21]、[22]、[23]、[24]、[25]、[26]。在初级视觉皮层(V1)中,神经元对定向结构边界和对比度不连续性具有选择性响应,形成稀疏但信息丰富的结构表示。更高级的区域,如V4和顶后皮层(PPC),进一步整合多尺度轮廓和空间布局信息,以构建连贯的场景表示 [27]、[28]。基于这些感知洞见,轮廓也对应于图像中的高价值、低冗余信号。从信息论的角度来看,轮廓构成稀疏骨架,捕捉高层结构熵,与通常包含冗余信息的像素级纹理不同。因此在压缩过程中优先处理这些区域不仅仅是一种启发式方法;它提供了一种有据可依的方式,引导比特分配朝向感知和语义上重要的区域。
基于上述感知洞见,学习式图像压缩也探索了自适应或非均匀量化以提高潜变量表示的利用率 [29]、[30]、[31]。这些方法根据潜变量特征、内容信息或学习的量化策略动态调整量化精度,但它们通常不显式地纳入源自轮廓信息的结构先验。与此同时,结构和边缘引导的压缩方法引入了轮廓或边缘线索来增强特征表示和重建质量 [32]、[33]。尽管自适应量化和结构引导各自都显示了明确的效益,但它们主要作为独立的研究方向被分别研究。因此,建立轮廓派生的结构重要性与潜变量量化精度之间的直接联系仍然是一个未被充分探索的问题。
为解决这一局限性,我们提出了基于轮廓引导的潜变量量化(CGLQ),将源自轮廓的结构先验显式地集成到潜变量量化过程中。与仅仅将轮廓信息视为辅助重建约束或用于区域级比特分配的通用重要性图不同,CGLQ将轮廓派生的结构重要性转化为空间调制权重,直接调节潜变量量化步长。这在结构重要性与量化精度之间建立了显式映射:结构重要区域被赋予更细的量化,而较不重要的区域可以使用更粗的量化。该机制使结构信息能够直接参与量化过程,并为现有的重要性感知和自适应量化方法提供了互补的视角。
在Kodak、Tecnick和CLIC数据集上的大量实验表明,所提出的方法在PSNR和MS-SSIM上均一致地优于基线模型(Joint'18),实现了稳定的BD-rate降低(最高达30%),同时更有效地保留了结构细节。
我们的主要贡献总结如下:
  • 1.
    基于轮廓引导的潜变量量化(CGLQ)。 我们提出了一种结构感知的量化机制,将源自轮廓的结构重要性显式地转化为空间自适应的潜变量量化精度,使结构重要区域获得更细的量化,较不重要的区域使用更粗的量化。
  • 2.
    即插即用的结构感知压缩框架。 所提出的模块可以无缝地集成到现有的学习式图像压缩架构中,只需最少的修改。
  • 3.
    全面的实验验证。 在Kodak、Tecnick和CLIC上的大量实验表明,相比基线(Joint'18)取得了一致的性能提升,实现了显著的BD-rate降低和增强的结构保留。
本文其余部分组织如下。第2节回顾了学习式图像压缩的相关工作。第3节介绍了所提出的基于轮廓引导的潜变量量化框架。第4节提供了实验结果和与最先进方法的对比。最后,第5节对全文进行总结。

章节摘要

相关工作

得益于深度学习与变换编码理论的融合,学习式图像压缩(LIC)迅速发展并展示了超越传统手工设计编码器的潜力。近期进展逐步从局部统计建模向捕捉长程依赖关系转变。然而,一个重要的挑战依然存在:如何以一种更好地与人类视觉系统(HVS)相一致的方式分配比特,HVS对结构特别敏感。

所提方法

本节介绍所提出的基于轮廓引导的潜变量量化(CGLQ)框架。在第1节引言和第2节相关工作中讨论的动机和结构洞见的基础上,我们首先概述了整体压缩流水线以及轮廓辅助信息的作用。随后详细描述所提出的基于轮廓引导的潜变量量化机制,最后介绍用于端到端优化的训练目标。

实验

在本工作中,采用Joint'18 [7] 作为主要基线模型。Joint'18结合了超先验与自回归上下文建模,是学习式图像压缩中广泛使用的参考框架。所提出的基于轮廓引导的模块,即基于轮廓引导的潜变量量化(CGLQ),建立在Joint'18架构之上,使得能够直接评估显式结构先验所带来的效益。
此外,为验证所提模块的通用性,我们

结论与讨论

本工作研究了端到端学习式图像压缩中的结构模糊和边缘退化问题,尤其是在低比特率条件下。为解决这一问题,我们提出了基于轮廓引导的潜变量量化(CGLQ)框架,将源自轮廓的结构先验显式地纳入潜变量量化阶段。与仅将轮廓信息用于重建引导或区域级重要性加权不同,CGLQ建立了显式映射

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
陈凯|范英乐
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号