双流特征聚合与双引导上采样技术:高效实现多重曝光校正

《Knowledge-Based Systems》:Dual-Stream Feature Aggregation and Dual Guided Upsampling for Efficient Multi-Exposure Correction

【字体: 大 中 小 】 时间:2026年01月02日 来源:Knowledge-Based Systems 7.6

编辑推荐:

  多曝光校正网络优化低光照与过曝图像修复,提出双流特征聚合模块和双引导上采样方法,降低计算成本同时保持高分辨率细节。

  
Jong-Hyeon Baek|Hyo-Jun Lee|Hanul Kim|Yeong Jun Koh
韩国忠南国立大学计算机科学与工程系

摘要

曝光不当的图像会显著降低视觉质量,限制了它们在机器学习任务和现实世界场景中的应用。为了解决这个问题,已经开发了多曝光校正方法来改善在不同曝光条件下的图像。然而,现有方法涉及复杂的架构,导致计算成本高且参数数量庞大,这使得它们不适用于实时应用。为了克服这些限制,我们提出了一个高效的多曝光校正网络,称为EMECNet。EMECNet能够有效地从低分辨率图像中提取亮度特征用于曝光校正,以及细节特征用于保留精细细节,并在曝光信息的指导下将它们有效地聚合。随后,通过提出的双引导上采样方法对聚合特征进行上采样,该方法利用强度和亚像素信息来实现精确的高分辨率恢复。在ME和SICE数据集上的实验结果表明,EMECNet在计算成本和参数数量方面都达到了最低水平,在效率和性能上都优于现有方法。

引言

曝光不足和过度曝光的图像存在对比度低和细节丢失的问题,这严重降低了视觉质量,并限制了计算机视觉任务(如物体识别[1]、[2]、[3]和视频理解[4]、[5]、[6])的性能。为了解决这个问题,以往的研究主要集中在低光照增强或曝光不足图像的恢复[7]、[8]、[9]、[10]、[11]、[12]上,而其他研究[13]、[14]则致力于恢复过度曝光的图像。然而,这些方法仅限于单次曝光校正,因此难以处理现实世界场景中遇到的多种曝光条件。
相比之下,多曝光校正旨在将曝光不足和过度曝光的图像恢复到正常曝光状态,同时考虑多种曝光条件,这与单次曝光校正不同。最近的研究[15]、[16]、[17]、[18]、[19]引入了各种曝光校正方法来应对这些问题。然而,这些方法依赖于深度卷积神经网络,特别是具有深度卷积层的编码器-解码器架构,导致参数数量多和计算成本高。尽管有一些轻量级模型的进步[17]、[18],但计算开销仍然是其在实际应用中部署的关键障碍。
已经提出了多种方法[9]、[20]、[21]来提高多曝光校正的效率。LCDPNet[20]对高分辨率输入进行降采样,使用编码器-解码器架构,并将图像恢复到原始分辨率。然而,它对深度卷积层的依赖导致了高计算成本和大量参数。作为替代方案,提出了全局变换方法,如3D查找表(3D LUTs)[21]或强度变换[19]。这些方法使用神经网络自适应地估计变换函数以保持高图像质量。尽管全局变换可以有效增强整体对比度,但它们难以捕捉细粒度的局部细节,通常需要额外的模块,从而增加了参数和计算成本。
快速可靠的多曝光校正需要从因曝光不足或过度曝光而受损的图像中高效有效地提取特征。在这项工作中,我们提出了EMECNet(高效多曝光网络),它由两个主要组件组成:双流特征聚合模块(DFAM)和双引导上采样。为了提高效率,DFAM使用两种高效的特征提取器从低分辨率图像中提取用于多曝光校正的特征:亮度特征提取器和细节特征提取器。通过预测校正后的灰度图像来获得亮度特征,而细节特征则使用高斯滤波器的拉普拉斯算子和多种归一化方法提取。然后,DFAM还包括一个基于曝光信息的特征聚合模块,以有效混合亮度和细节特征。最后,通过提出的双引导上采样将聚合特征转换为校正后的RGB图像,该上采样方法同时考虑了强度变换和空间亚像素信息。如图1所示,EMECNet在效率和效果之间实现了最佳平衡。在ME[15]和SICE[22]数据集上的实验结果表明,所提出的方法在参数数量和计算成本方面都优于现有最先进的方法。

部分内容

曝光校正

传统的曝光校正技术,如直方图均衡[23]、[24]、[25]、伽马变换[26]、[27]和Retinex理论[28]、[29]、[30]、[31],主要针对全局对比度增强来改善图像曝光。最近,基于学习的方法[7]、[8]、[32]在曝光校正方面取得了显著进展。3D-LUT[7]使用图像自适应的3D查找表来执行全局变换。RAUS[32]和RetinexFormer[8]整合了Retinex理论

提出的方法

X∈RH×W×3 表示一个在曝光不足或过度曝光条件下捕获的原始RGB图像,其中H和W分别表示图像的高度和宽度。高效多曝光校正的目标是在考虑计算效率的情况下,调整在曝光不足或过度曝光条件下捕获的输入图像的曝光水平。为此,我们提出了简化且有效的曝光校正程序,以及高质量的高分辨率

数据集

为了评估所提出的架构,我们使用了两个多曝光数据集:1) ME [15] 和 2) SICE [22]。ME数据集包含4,716个场景,每个场景有5张不同曝光水平的图像及其对应的单张真实图像。我们按照现有方法[15]、[18]、[19]、[21]、[22],将数据集分为3,535个训练集和1,181个测试集。对于SICE数据集的评估,我们遵循[22]的设置,许多现有方法[15]、[17]也采用了这一设置

结论

我们提出了一个高效的多曝光校正网络,包括双流特征聚合模块和双引导上采样。双流特征聚合模块包含一个亮度特征提取器,用于预测校正后的灰度图像以生成亮度特征;以及一个细节特征提取器,该提取器利用基于LoG滤波器的特征和各种归一化技术来捕捉精细细节。这些特征通过有效融合

CRediT作者贡献声明

Jong-Hyeon Baek:撰写——原始草稿、软件、方法论、概念化。Hyo-Jun Lee:撰写——原始草稿、方法论、形式分析。Hanul Kim:验证、方法论、形式分析。Yeong Jun Koh:撰写——审稿与编辑、监督、项目管理、资金获取。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作部分得到了韩国政府(MSIT)资助的国家研究基金会(NRF)(项目编号:RS-2025-00559165、RS-2024-00352566、RS-2024-00397293)的支持,同时也得到了韩国政府(MSIT)资助的信息与通信技术规划与评估研究所(IITP)(项目编号:RS-2022-II221200,融合安全核心人才培训项目(忠南国立大学))的支持
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号