打破偏见:通过去噪技术增强基于曲线的曝光校正器

《Neurocomputing》:Breaking prejudice: Empowering curve-based exposure corrector with denoising

【字体: 大 中 小 】 时间:2026年04月06日 来源:Neurocomputing 6.5

编辑推荐:

  曲线增强噪声抑制双目标优化与自适应演化框架研究,提出PACT策略通过空间扰动构建卷积式感受野实现曲线增强与噪声抑制协同优化,并扩展为SEC动态自演化框架。

  
张国辉|郑乃山|黄杰|赵峰
中国科学技术大学脑启发式智能感知与认知关键实验室,合肥,230000,中国

摘要

在具有挑战性的光照条件下拍摄的图像中,校正曝光度和抑制固有噪声是低级视觉中的一个基本问题。尽管基于卷积神经网络(CNN)的方法已经取得了令人印象深刻的性能,但它们对配对数据集的依赖以及具有大量参数的复杂架构往往导致高昂的计算成本。相比之下,无监督的基于曲线的增强方法提供了一种有效的替代方案,但其一个关键缺点是无法数学上消除噪声。这一限制源于增强曲线的内在属性,这些曲线缺乏感受野,并遵循单调递增的一维查找表公式,这限制了适应性和精度。为了克服这些限制,我们提出了一种扰动聚合曲线训练(PACT)策略,通过扰动相邻像素之间的空间关系,使像素独立的曲线具备类似卷积的感受野,从而能够感知周围的环境内容和结构一致性。基于这种感受野,进一步引入了扰动不变性约束,以在空间相关性被打乱的情况下保持一致性,从而聚合相邻信息并有效减轻噪声。在这个统一的范式中,PACT在保持现有基于曲线校正模型的效率的同时,增强了其强大的去噪能力。此外,为了应对多样化和不可预测的曝光条件,我们开发了一种自进化曲线(SEC)框架,该框架通过动态演化曝光曲线并在每张图像的基础上自适应地抑制噪声,实现零样本增强。广泛的实验表明,我们的PACT和SEC在多个具有挑战性的基准测试中优于其他工程化替代方案(例如级联卷积)和最先进的无监督方法,包括受噪声污染的低光照、极低光照和通用曝光校正数据集。

引言

数码相机的广泛可用性大大降低了摄影的门槛。然而,次优的光照条件或不适当的相机参数(如背光、照明不足和长时间曝光)经常会产生曝光不足或过度曝光的图像,并受到噪声污染,从而降低了美学质量和信息保真度。因此,曝光校正吸引了大量的研究关注,带来了许多创新方法。
曝光校正任务包括两个相反的组成部分:曝光不足增强和过度曝光抑制。前者旨在使暗区域变亮并减轻噪声污染,以揭示详细内容,而后者则降低饱和区域的亮度并恢复被遮挡的结构。鉴于现实世界场景中曝光不足的普遍性,低光照图像增强的研究进展比过度曝光校正更快。特别是,基于深度学习的方法探索了多种越来越复杂的网络架构,包括卷积[1]、[2]、[3]、[4]、变换器[5]、[6]、[7]、隐式神经表示[8]、[9]、[10]以及扩散模型[11]、[12]、[13]、[14]、[15]、[16]。SNR[5]引入了信号与噪声的先验,通过自注意力与卷积的局部信息相结合,实现空间自适应增强。NeRCo[8]设计了一个可控的拟合函数,以减少低光照条件下的不可预测的退化因素,简化了增强过程。Diff Retinex[12]采用生成式Retinex框架来补偿纹理损失和颜色偏差。为了统一曝光不足增强和过度曝光抑制,一些研究[17]、[18]、[19]、[20]提出了这两种相反优化方向之间的一致性学习。尽管这些方法表现出色,但它们严重依赖于大规模的配对数据集。此外,无论是用于提高美学质量还是作为高级视觉任务的预处理,它们复杂的架构和漫长的推理时间都严重阻碍了在实际应用中的部署。
为了解决这个问题,研究人员探索了无监督和高效的曝光校正算法,以满足该领域不断增长的需求。在无监督方法中,最具代表性的工作遵循基于曲线的范式。开创性的Zero DCE[21]将图像增强重新定义为曲线估计问题,通过预测逐像素的曝光调整曲线来拉伸输入图像的亮度,而其扩展版本Zero DCE[22]进一步减少了推理时间。沿着这个方向,潘等人[23]使用切比雪夫近似将低光照图像分解为多个组成部分,并对得到的子图像进行增强。SACC[24]引入了一种学习策略,通过仅限制曲线的单调递增和凹性质来估计更灵活的曲线函数,从而提高适应性和泛化能力。
不幸的是,由于预定义的目标曝光值,基于曲线的过度曝光抑制方法的视觉质量通常低于预期,性能落后于曝光不足增强方法。一个更关键的限制在于它们无法数学上消除噪声污染,这是曝光校正中不可避免的退化。如图1所示,我们重新审视了曝光调整曲线的内在机制,并将这些限制归因于两个主要因素:
  • •
    缺乏感受野:估计的曲线独立调整每个像素,阻止当前像素根据相邻上下文区分其语义——无论是表示有意义的内容还是噪声。
  • •
    固有的单调性:一旦确定了曲线,输入像素的强度只能根据增强函数的凹凸性进行放大或抑制。
  • 这两个内在约束阻碍了噪声去除和曝光校正的同时自适应实现。相比之下,基于卷积的算法可以平衡这两个目标,因为它们具有以下特点:本工作的主要贡献总结如下:
  • •
    我们提出了一种扰动聚合曲线训练(PACT)策略,为基于曲线的曝光校正算法赋予了噪声去除能力,解决了它们无法数学上消除噪声的根本限制。
  • •
    PACT允许像素独立的曲线通过空间扰动构建类似卷积的感受野,从而能够感知相邻内容。扰动不变性约束进一步鼓励了一致的聚合并增强了噪声抑制。
  • •
    我们将PACT扩展为自进化曲线(SEC)增强器,它为每个输入图像动态演化曝光曲线,提供定制的增强和强大的泛化能力。
  • •
    我们将PACT策略应用于几种代表性的基于曲线的方法。在多种曝光条件和下游识别任务上的广泛实验证明了所提出方法的有效性和效率。
  • 基于上述分析,我们将卷积运算符的功能整合到基于曲线的增强器中,从而开发出了扰动聚合曲线训练(PACT)策略。为了使像素独立的曲线具备感受野,PACT在每个绝对坐标为中心的局部区域内引入随机扰动,并相应地估计多个扰动曲线。然后在增强曲线的相应坐标中集成在每个位置建立的感受野,允许感知相邻的环境内容。基于这种感受野,PACT通过灵活的可学习参数聚合相邻信息,并在扰动不变性正则化项下有效抑制噪声。这一约束强制聚合输出与其在空间相关性被打乱时的变体之间保持一致性,促进了对于空间扰动的不变性,并增强了整体的去噪能力。通过结合扰动和聚合,PACT有效地克服了基于曲线增强算法的固有限制,实现了噪声减少和曝光校正的同时进行。
    考虑到实际应用中曝光条件和场景内容的多样性和不可预测性,我们进一步将提出的PACT扩展为一个零样本框架,称为自进化曲线(SEC)。所提出的SEC通过为每个退化的图像迭代演化曝光曲线,提供了定制的图像特定增强解决方案。因此,SEC在适应性强曝光校正和噪声减少方面展示了强大的泛化能力。
    主要贡献总结如下:
  • •
    我们设计了一种扰动聚合曲线训练(PACT)策略,通过为基于曲线的曝光校正算法赋予噪声去除能力,解决了它们无法数学上消除噪声的关键限制。
  • •
    PACT允许像素独立的曲线通过空间扰动建立类似卷积的感受野,从而允许准确感知相邻内容。进一步引入了扰动不变性约束,以破坏空间相关性并强制一致的聚合,从而实现有效的噪声抑制。
  • •
    我们将PACT扩展为自进化曲线(SEC)增强器,它为每个输入图像动态演化曝光曲线,提供定制的增强和强大的泛化能力。
  • •
    我们将PACT策略应用于几种代表性的基于曲线的方法。在多种曝光条件和下游识别任务上的广泛实验证明了所提出方法的有效性和效率。
  • 方法片段

    传统方法

    基于直方图均衡(HE)的方法旨在通过全局[25]或局部[26]、[27]拉伸动态范围和调整直方图分布来增强曝光不足的图像。伽玛校正是一种广泛使用的技术,它对单个像素值应用非线性操作以提高整体对比度。然而,伽玛校正忽略了像素之间的空间依赖性,经常在局部区域产生不希望的伪影和光晕效应。
    Retinex理论[28]

    方法论

    在本节中,我们首先回顾了现有基于曲线增强方法的公式和固有限制。然后,我们提出了一个全面的扰动聚合曲线训练策略框架,说明了它如何为增强曲线赋予感受野,并实现相邻内容的聚合,从而同时进行增强和去噪。最后,我们描述了训练策略中使用的损失函数。

    自进化曲线

    在现实世界场景中,在不满意或光照条件变化较大的情况下拍摄的图像通常会出现曝光不足、过度曝光和噪声污染,导致可见度降低和细节丢失。光照的多样性和不可预测性进一步增加了鲁棒曝光校正的难度,因为现有的增强方法通常依赖于为特定条件策划的数据集进行大量训练。这种依赖性对于实际应用来说是不切实际的

    实验

    在本节中,我们进行了广泛的评估,以展示我们的PACT策略和SEC模型在各种具有挑战性的场景中的有效性。我们还评估了SEC在下游识别任务中的适用性。此外,我们进行了全面分析以验证其有效性。

    结论

    在本文中,我们提供了基于曲线的曝光校正方法为何固有地难以去除噪声的数学分析,将其限制归因于它们缺乏感受野和单调递增曲线公式的限制性。为了克服这些缺点,我们提出了扰动聚合曲线训练(PACT)策略,为增强曲线赋予了类似卷积的感受野,并引入了灵活的聚合

    CRediT作者贡献声明

    张国辉:写作 – 审稿与编辑,撰写 – 原始草稿,可视化,软件,方法论,资金获取,形式分析,数据管理,概念化。郑乃山:方法论,数据管理,概念化。黄杰:写作 – 审稿与编辑,可视化,方法论,形式分析,概念化。赵峰:写作 – 审稿与编辑,监督,概念化。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
    张国辉在中国上海的华东科技大学(ECUST)获得了计算机科学与技术的学士学位。他目前正在中国科学技术大学(USTC)攻读硕士学位。他的研究包括图像和视频生成以及强化学习。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号