一种用于轻量级 RAW 到 sRGB 映射和颜色优化的仿生框架
《Pattern Recognition》:A bio-inspired framework for lightweight RAW-to-sRGB mapping and color optimization
【字体:
大
中
小
】
时间:2026年08月27日
来源:Pattern Recognition 9.1
编辑推荐:
• 生物启发式 MSOCISP 框架为 ISP 解耦亮度和颜色。
• 可学习的单一拮抗机制提取自适应视觉特征。
• 以具有竞争力的参数量实现了最先进的性能。
引言
在移动设备和数码相机中,内置图像信号处理器(ISP)执行将 RAW 传感器数据转换为高质量、可观看的 sRG
• 生物启发式 MSOCISP 框架为 ISP 解耦亮度和颜色。
• 可学习的单一拮抗机制提取自适应视觉特征。
• 以具有竞争力的参数量实现了最先进的性能。
引言
在移动设备和数码相机中,内置图像信号处理器(ISP)执行将 RAW 传感器数据转换为高质量、可观看的 sRGB 图像的核心任务。标准的 ISP 流水线由协同的子任务组成——如去噪、去马赛克和自动白平衡——通过多阶段处理优化 RAW 数据 [1]。
尽管传统的多阶段、手工设计的 ISP 解决方案在典型场景下取得了令人满意的结果,但它们存在显著局限性:手工设计的模块通常依赖启发式规则,并需要繁琐的参数校准以适应不同场景。相比之下,数据驱动的、端到端的深度学习 ISP 解决方案由于其优越的图像生成性能 [2] 最近引起了广泛关注。例如,Ignatenko 等人 [3] 利用大规模配对数据将低质量的移动 RAW 数据映射为单反相机(DSLR)级别的图像。然而,由于收集的数据中不可避免地存在空间错位,Zhang 等人 [4] 采用了预训练的光流网络进行错位补偿,从而实现了最先进的性能。
尽管如此,大多数现有的纯数据驱动深度学习 ISP 模型倾向于依赖通用特征提取模块,本质上充当缺乏特定领域先验引导的函数近似器。这种过度泛化的“黑盒”特性意味着,在处理高度非线性的颜色映射任务时,其内部特征响应缺乏机制层面的透明性和生理可解释性。另一方面,尽管最近的基于扩散的方法(例如 DiffRAW [5], ISPDiffuser [1])取得了优异的恢复结果,但它们产生了不可接受的海量计算开销。为了提高计算效率,提出了诸如 MetaISP [6] 和 EfficientISP [7] 等轻量级解决方案。这些轻量级方案通常依赖通用的架构压缩操作或轻量级网络设计。虽然它们极大地减少了参数量,但在处理严重不适定的 RAW 到 sRGB 映射任务时,往往会牺牲颜色保真度和高频结构细节,使得在“极低计算成本”和“高质量重建”之间难以取得理想的平衡。
受人眼视网膜单一拮抗颜色编码机制 [8] 的启发,我们提出了一种名为多尺度单一拮抗颜色 ISP(MSOCISP)的生物启发式 RAW 到 sRGB 映射框架。不同于直接操作耦合 RGB 通道的方法,我们的方法通过将图像特征明确编码为红绿、蓝黄和亮度通道,将生物视觉先验融入网络架构中,从而促进参数高效的特征解耦。该框架的核心是多尺度单一拮抗颜色优化(MSOCO)模块,它将传统的固定高斯差分(DoG)模型扩展为可学习的多尺度架构。通过强制实施跨尺度特征减法作为架构约束,网络自适应地提取单一拮抗颜色特征。为了提高结构一致性,MSOCISP 集成了一种基于残差的交叉注意力机制,该机制利用亮度边缘特征作为结构先验来引导拮抗颜色生成,从而缓解单一拮抗表示典型的边缘模糊问题。此外,源自亮度特征的空间注意力图调整全局光照。如图 1 所示,MSOCISP 在性能和效率之间取得了有利的平衡,在峰值信噪比(PSNR)方面优于现有方法,同时保持了具有竞争力的参数量。
本研究的贡献总结如下:
1. 生物启发式知识嵌入框架:我们提出了一种新颖的计算架构,将人眼视网膜颜色编码机制整合到深度神经网络中。与依赖固定数学模型的传统方法不同,我们将生物单一拮抗颜色编码(源自高斯差分)转化为数据驱动的、可学习的多尺度范式。这一创新有效地弥合了生物视觉先验与计算智能之间的差距,显著增强了 ISP 流水线的特征表示能力。
2. 结构知识引导优化:为了应对复杂边缘区域颜色渗出的挑战,我们通过基于残率的交叉注意力模块引入了一种知识引导约束机制。通过利用高频亮度信息作为结构先验,该模块明确引导颜色重建过程。这种方法有效地解耦了亮度和色度优化,确保了高保真度的边缘恢复,并减轻了由通道耦合引起的伪影。
3. 高效系统验证:在公共数据集上的大量实验表明,提出的 MSOCISP 在标准指标(PSNR/SSIM)和特定颜色评估中均实现了最先进(SOTA)的性能。至关重要的是,本研究验证了生物启发式轻量级设计的有效性,证明了嵌入领域知识可以显著减少参数量和推理延迟,同时优于资源密集的“黑盒”深度学习解决方案。
片段章节
基于学习的 ISP
早期基于学习的 ISP 研究主要集中在优化传统流水线内的各个功能子模块。深度学习技术成功应用于替换特定的手工设计组件,如联合图像去噪和去马赛克 [10], [11],自动白平衡 [12], [13],光线平衡 [14]。
随着大规模标注数据集的出现,范式转向旨在替换整个 ISP 流水线的端到端深度学习模型。
A 概述
如图 2 所示,提出的多尺度单一拮抗颜色 ISP 模型通过三个主要阶段将 RAW 输入 Xraw∈R^{H/2×W/2×4}(Bayer R, G1, G2, B 通道)映射为高质量的 sRGB 图像 Iout∈R^{H×W×3}。
首先,RAW 数据预处理模块(RDPM)对输入进行去噪以产生干净的特征 Xclean:Xclean=RDPM(Xraw)
接下来,Xclean 进入两个并行分支。光照与边缘估计模块(IEEM)提取光照注意力图 Fillu 和边缘特征 Fedge:Fillu,Fedge=
实验设置
数据集。我们在 ZRR、MAI 和 MCR 数据集上评估了 MSOCISP。ZRR [3] 包含使用华为 P20 和佳能单反相机拍摄的 46.8k 训练和 1.2k 评估对。MAI [9] 将来自索尼 IMX586 传感器的 12 位 RAW 图像映射为富士胶片风格 sRGB 图像;遵循 [1],我们使用了 9:1 的分割,包含 21.7k 训练和 2.4k 评估对。MCR [37] 包含 4980 张 1280 × 1024 分辨率的图像,包括 3984 张低光 RAW、498 张单色 RAW 和 498 张在不同室内条件下拍摄的 sRGB 图像。
结论
在本研究中,我们提出了 MSOCISP,一种用于 RAW 到 sRGB 映射的生物启发式轻量级框架,解决了颜色失真和计算冗余问题。MSOCISP 通过可学习的多尺度高斯差分架构融入了视网膜单一拮抗机制,实现了亮度和色度特征的自适应提取。边缘约束交叉注意力模块进一步减少了单一拮抗编码的空间模糊性并抑制了颜色渗出。
CRediT 作者贡献声明
赵鹏程:写作 – 初稿,调查,形式分析,概念化。陈作军:软件,项目管理,数据整理。杨凤斌:监督,资金获取。柴瑞:资源,项目管理。张梅梅:可视化,调查。秦品乐:写作 – 审查与编辑,监督。曾建超:方法论,概念化。陆广通:调查,资金获取。李妮:资源,项目管理。
竞争利益声明
作者声明他们没有任何已知的竞争性财务利益或个人关系可能影响本论文中报告的工作。
致谢
本研究由 (1) 山西省静态交通技术创新中心建设资金。(2) 基金项目:山西省基础研究计划资助项目(编号:202403021222182)。(3) 长治市“揭榜挂帅”项目:绿色机场建设和智能管控平台关键技术及示范。(4) 山西省重大科技项目(批准号:202101010101018)支持。
赵鹏程 | 陈作军 | 杨凤斌 | 柴瑞 | 张梅梅 | 秦品乐 | 曾建超 | 陆广通 | 李妮
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号