引言
在低光条件下拍摄的图片通常存在可见度差、对比度低和严重噪声等问题,这些问题会显著影响人类的视觉感知以及下游视觉任务。与其他图像复原问题类似 [1], [2], [3], [4], [5],低光图像增强(LIE)旨在通过减轻退化因素的影响来恢复具有视觉意义的图像内容,从而提升图像质量。近年来,数据驱动方法 [6], [7], [8], [9], [10], [11], [12], [13], [14] 利用深度神经网络从大规模训练数据中学习内容感知的增强映射,展现出了令人振奋的性能。例如,Chen 等人 [7] 将 Retinex 理论 [15] 与卷积神经网络相结合,以估计和细化光照图。尽管取得了上述成功,但大多数监督方法严重依赖于配对的低光/正常光照图像,而在现实场景中收集这些数据极具挑战性。
为避免对配对数据的依赖,研究者提出了大量基于无监督深度学习的方法 [16], [17], [18], [19], [20], [21]。虽然这些方法提高了实际应用性,但大多数方法仍然面临在亮度增强、噪声抑制和结构保持之间的权衡问题。如图 1 所示,SCI [17]、Zero-DCE [20] 和 CLIP-LIT [22] 等方法虽然实现了较强的亮度增强,但存在严重的噪声残留和结构边缘断裂的问题。
相比之下,优先考虑稳定性的模型,如 RUAS [18] 和 COLIE [23],往往无法实现自然的曝光效果,其边缘响应仍然较弱,强度直方图仍集中在低强度范围。这反映了一个根本性局限:当前的无监督低光增强方法无法有效地解耦并联合优化光照、噪声和结构之间的矛盾需求。这些观察促使我们提出一个统一的框架,利用物理先验来解决这些权衡问题,从而在复杂光照条件下实现干净的纹理和完整的结构。
因此,我们提出了一种协作式无监督低光增强框架,结合基于 Retinex 的光照估计、基于 LUT 的增强和基于 BSN 的去噪,以协同且光照引导的方式实现亮度增强、曝光控制和自适应噪声抑制。我们框架的一个关键优势在于有效利用了各阶段内部和跨阶段的光照信息。在增强阶段,估计的光照图通过根据场景的光照分布提供自适应亮度目标和区域权重来指导曝光调节,从而避免对已经明亮的区域进行过度增强。在去噪阶段,同一光照图被重新利用为引导先验,在明亮区域保持结构,而在噪声通常更为严重的暗区域应用更强的去噪处理。通过这种方式,光照先验在整个流程中充当共享线索,从而实现更为均衡的增强与去噪效果。
具体而言,我们的方法首先基于 Retinex 理论估计光照图并推导反射分量。为实现非线性亮度增强,我们采用了一个轻量级的基于 LUT 的模块,并由一种新颖的光照感知曝光损失函数进行引导。该损失函数将光照图划分为亮区和过曝区,分配自适应目标和权重,以改善全局对比度的同时抑制过曝现象。为解决增强过程中不可避免放大的噪声问题,第二阶段引入了 R-BSN,一个无监督去噪模型。关键在于,该阶段将第一阶段的光照图转化为保护掩码,选择在亮区域保留纹理,同时在暗区域消除密集噪声。这种跨阶段协作确保了可见度增强与结构完整性之间的最优平衡。实验结果表明,我们的框架通过创新的跨阶段信息传递机制,在各种真实世界低光条件下始终能够提供语义忠实的增强结果,如图 1 所示。
综上所述,我们的主要贡献如下:
(1)我们提出了一种用于无监督低光图像增强和去噪的协作式两阶段框架,有效平衡了亮度增强、曝光控制和噪声抑制;
(2)我们将 Retinex 分解与可学习的光照引导 LUT(I-LUT)相结合,并设计了一种曝光感知损失函数,以内容自适应的方式调节增强强度;
(3)我们利用光照分布与噪声强度之间的相关性,开发了一种区域感知去噪策略,在暗区域抑制噪声的同时保持亮区域的结构细节;
(4)在五个基准数据集上的大量实验证明了所提方法的有效性,该方法与最先进的无监督方法相比表现优异,并与监督方法保持竞争力。
本文其余部分组织如下。第 2 节综述现有的无监督方法和基于 LUT 的增强方法,第 3 节介绍 Retinex 理论、1D-LUT 和盲点网络的理论初步知识。第 4 节详细介绍了所提出的无监督框架,重点关注光照感知增强模块和区域感知去噪模块。第 5 节展示了定量和定性实验结果以及消融研究,以验证我们方法的有效性。最后,第 6 节总结全文并讨论未来的研究方向。