《IEEE Access》:Development of a Neural Network-Based Model to Generate an Absolute Luminance Map of an Interior Using a Camera Raw Image File
编辑推荐:
本研究提出一种基于机器学习的新技术,用于估计由人工照明照亮的室内场景之绝对亮度图。该方法利用数码单镜反光相机(Digital Single-Lens Reflex, DSLR)单次拍摄的原始图像,通过基于贝叶斯正则化(Bayesian regularizati
本研究提出一种基于机器学习的新技术,用于估计由人工照明照亮的室内场景之绝对亮度图。该方法利用数码单镜反光相机(Digital Single-Lens Reflex, DSLR)单次拍摄的原始图像,通过基于贝叶斯正则化(Bayesian regularization)的神经网络估计模型进行处理。该模型以色彩检测卡(ColorChecker Classic chart)色块的线性R、G、B像素值及其对应的实际亮度值作为训练数据集,后者由柯尼卡美能达LS 150亮度计在宽泛的照明水平范围内测得。本文讨论了模型开发所用的工具和技术,以及生成14位R、G、B通道像素值所涉及的图像捕获与处理阶段。这些像素值作为模型的输入,预测场景中对应像素位置的绝对亮度,从而生成亮度图。所提出的技术具有成本效益、易于实施且科学可行,在油漆、纸张和织物表面的估计误差小于10%。该技术在优化人工照明、日光设计和增强各种场景下的视觉舒适度方面具有潜在应用价值。与现有高动态范围成像(High Dynamic Range Imaging, HDRI)方法相比,该技术还具有额外优势,因为后者在图像捕获过程中通常需要高度的照明一致性,且图像处理计算密集。
本研究旨在解决室内环境中高效可靠亮度映射的长期挑战。传统照度(illuminance)为基础的照明设计方法存在局限,而基于亮度(luminance)的框架能更精确地评估可见性、视觉舒适度和视觉外观,因此亟需经济实用的成像光度计获取亮度图。现有亮度测量技术中,点式亮度计仅能测量单点或窄视场亮度,无法捕捉空间变化且成本高昂;高动态范围成像技术虽能实现空间分辨分析,但需要多次曝光、图像对齐及复杂的后处理,耗时且对拍摄条件要求严苛,动态场景下还可能出现鬼影问题。为克服这些局限,研究人员提出一种基于单张原始图像的替代方法,核心假设是数码相机获取的14位原始像素值可与场景中对应点的绝对亮度有效关联。
研究人员采用尼康D750 DSLR相机配合尼克尔f/1.8 50 mm镜头,在手动模式下以固定参数(光圈f/4、快门速度1/40秒、ISO 100)采集图像,确保传感器响应与照明条件间的相关性可控。实验在暗室环境中进行,以X-Rite ColorChecker Classic色卡的24个色块为参照目标,在多种照明条件下建立训练数据。照明由四盏20 W智能灯带提供,通过调节实现65 lux至1800 lux的照度范围,并保持暖白与冷白两种相关色温(Correlated Color Temperature, CCT)条件。每个照明条件下,研究人员同步记录色块的真实亮度值(柯尼卡美能达LS-150亮度计测量)及照度值(柯尼卡美能达CL-500A照度光谱仪监测),最终获得1008组独特的观测数据(冷白504组、暖白504组)。
在图像处理阶段,研究人员开发了基于MATLAB AppDesigner的用户界面工具,辅助从原始文件中提取像素数据。原始文件包含14位色彩滤波阵列(Color Filter Array, CFA)及元数据。经过黑电平校正和非线性变换后,通过去马赛克(demosaicing)处理将CFA转换为16位R、G、B通道。研究测试了两种模型:模型1直接使用16位R、G、B值作为输入;模型2则对像素值进行缩放处理。为建立像素值与亮度的映射关系,研究人员采用基于贝叶斯正则化反向传播(Bayesian Regularization Back Propagation, BRBP)算法的浅层神经网络。该网络包含一个输入层(3个神经元,对应R、G、B值)、一个隐藏层(2个神经元,sigmoid激活函数)和一个输出层(1个神经元,ReLU激活函数)。数据集按85%训练(857个数据点)、15%测试(151个数据点)划分。结果显示,模型1在训练集和测试集上的均方误差均优于模型2,故被选为最终模型。模型1的误差直方图表明,大量估计 instance 接近零误差线,误差范围更小,展现出更强的鲁棒性。
在亮度图生成方面,研究人员最初采用逐像素循环调用模型函数的方式处理6032×4032像素的全景图像,耗时约45分钟。为解决效率瓶颈,研究人员引入矩阵向量化技术,将m×n的R、G、B矩阵转换为(m×n)×1向量输入模型,输出后再通过reshape函数重构为亮度图矩阵。该技术将计算时间缩短至10秒以内,且适用于边缘设备部署。最终亮度图通过imagesc函数可视化,并开发了基于AppDesigner的图形用户界面,支持通过可移动感兴趣区域(Region of Interest, ROI)监测平均亮度值。
模型性能评估通过343个测试观测进行,涵盖五种场景设置:设置1为ColorChecker色卡水平放置的近距场景;设置2为色卡倾斜场景;设置3考察2 m和1.5 m不同相机-目标距离的影响(距离较远时亮度计光斑尺寸与色块尺寸匹配导致测量困难);设置4考察布料等粗糙表面材质;设置5考察垂直照明下顶部与底部亮度差异显著的目标。此外,设置6补充评估了包含光泽表面(如魔方、墙壁)的复杂场景。所有测试图像均未参与模型训练。
结果表明:模型在不同照明条件下总体表现良好,油漆、纸张、织物表面的估计误差小于10%;69%误差超过10%的测试案例实际亮度低于30 cd/m
2;所有误差超过10%的案例中,估计亮度均高于实际值;统计上模型在90%的测试观测中达到超过90%的准确度,平均绝对误差为4.8%。与现有文献方法对比,本方法在单次曝光、计算效率方面具有明显优势。
研究讨论部分分析了误差来源与局限性。高光表面因亮度的方向性特征可能导致测量与估计不准确;低亮度条件下(<30 cd/m
2)误差相对集中;模型训练数据目前局限于室内照明场景,高亮度或室外环境适用性尚待验证;此外模型校准与特定相机-镜头系统绑定,泛化应用需进一步调整或重新训练。
研究结论指出,本研究通过贝叶斯正则化神经网络实现了从单张原始图像到绝对亮度图的高效转换,显著简化了工作流程,降低了计算需求,提升了处理速度。该方法为生成了343个真实场景的精确亮度图提供了可行方案,为亮度映射科学的普及与进步做出了重要贡献。随着相机传感器技术的持续发展,该方法向更广泛环境与设备扩展的前景良好。未来研究方向包括:扩展数据集以涵盖更广泛照明条件;开发相机无关的校准程序;探索更复杂的神经网络架构。本论文发表于《IEEE Access》。