基于深度学习的高动态范围3D测量:GAN与U-Net的结合
《Sensors and Actuators A: Physical》:Deep learning-based high dynamic range 3D measurement: The combination of GAN and U-Net
【字体:
大
中
小
】
时间:2025年12月19日
来源:Sensors and Actuators A: Physical 4.1
编辑推荐:
王建华|张圣华|杨燕西中国青岛266520,青岛科技大学信息控制工程学院摘要在条纹投影轮廓测量技术中,高亮度表面上的条纹图像往往会出现饱和现象。传统的高动态范围处理方法需要额外的条纹投影或硬件辅助。本文提出了一种结合改进版U-Net与生成对抗网络的新型混合架构,无需任何辅助即可实
王建华|张圣华|杨燕西中国青岛266520,青岛科技大学信息控制工程学院摘要在条纹投影轮廓测量技术中,高亮度表面上的条纹图像往往会出现饱和现象。传统的高动态范围处理方法需要额外的条纹投影或硬件辅助。本文提出了一种结合改进版U-Net与生成对抗网络的新型混合架构,无需任何辅助即可实现饱和条纹的自修复。首先,编码器不使用池化层进行下采样,而是通过将卷积层的步长从1改为2来实现下采样,从而避免池化处理导致的细节丢失。4×4的卷积核相比U-Net的3×3卷积核具有更大的感受野。其次,改进版的U-Net采用了非对称跳接结构,使得解码器在恢复图像时能够利用编码器不同层的信息,逐步从高级抽象特征过渡到低级细节特征。最后,利用GAN中的对抗学习机制来优化生成器和判别器的性能:生成器负责生成更真实的图像,而判别器则负责判断图像是否由生成器生成。在双方的不断博弈过程中,生成真实图像的能力与识别能力会持续提升,直至达到纳什均衡。实验结果表明,所提出的GAN-U-Net方法的条纹PSNR值显著优于传统U-Net,而绝对相位RMSE则降低了约10.91%至64.15%。引言条纹投影轮廓测量技术是一种典型的结构光三维测量方法,它利用相位编码技术,具有精度高、速度快、结构简单、易于实现、成本低、非接触式以及可进行全场测量等优点[1]–[4]。近年来,对于动态场景下的高精度三维测量的需求日益增加,例如旋转叶片的检测与评估、飞机风洞试验中的模型姿态与变形测量、仿生设备设计中的动态生物体三维测量、车辆碰撞测试中的安全性评估,以及金属工件的机械性能测试等[5]–[13]。动态形态三维测量的最终目标是通过单个条纹图案重建物体的三维形状[14]。在动态场景中使用单帧条纹进行三维重建时,如果由于非漫反射导致单帧条纹局部过曝,传统的基于高动态范围的处理方法,如额外的条纹投影或硬件调整辅助,则不再适用。例如,多曝光技术[15]和自适应投影技术都需要额外的条纹投影[16],而偏振滤光片技术则需要硬件调整辅助[17]。在单帧条纹三维测量中,就需要对每一帧的条纹图案进行独立的自修复。图像修复是指利用计算机算法和图像处理技术来恢复受损的图像。在条纹投影轮廓测量技术中,饱和条纹修复的目的是恢复其中的编码信息。传统的图像修复方法包括基于纹理合成的修复方法、基于结构合成的修复方法以及基于扩散的修复方法[18]–[19]。这些方法利用纹理结构的一致性、样本相似性等因素,构建算法依据已知区域推断未知区域,从而修复损伤较小的图像。然而,当损伤区域较大、结构纹理复杂,或者损伤区域与已知区域之间没有明显关联时,修复后的图像与原始图像之间存在较大差异,还会出现受损边缘模糊等问题[20]。近年来,基于深度学习的图像修复方法得到了广泛研究,这类方法能够解决大规模缺失或不规则区域的修复问题[21]。其中,Goodfellow等人提出的生成对抗网络[22]以及Vaswani等人提出的Transformer[23]都是典型的图像修复技术。在条纹投影轮廓测量技术中,也有学者提出了基于U-Net和GAN的条纹修复方法。不过,基于U-Net的条纹修复存在以下问题:首先,U-Net捕捉上下文信息的能力有限;其次,最大池化操作会导致编码层中的一些细节信息丢失。而基于GAN的条纹修复在特征提取方面也存在局限性,训练良好的判别器很容易使生成器的梯度消失,从而阻碍生成器学习有效的特征。为此,本文提出了一种结合改进版U-Net与GAN的混合网络架构。首先,我们构建了改进版的U-Net网络模型,通过优化卷积层来提升其捕捉上下文信息的能力,同时通过去除池化层来丰富提取的细节特征。然后,利用GAN中判别器的对抗学习机制,在持续的对抗博弈中优化生成器和判别器的性能。本文的结构如下:第2节介绍条纹投影轮廓测量技术的原理;第3节详细阐述所提出的网络架构;第4节通过实验验证理论观点;第5节对全文进行总结。条纹投影轮廓测量技术原理在条纹投影轮廓测量技术中,通常使用8位单色摄像机。捕获到的条纹强度可以用以下公式表示[24]、[25]:{I(x,y)=a(x,y)+b(x,y)cos?(x,y)},其中I(x,y)≤255时表示图像未饱和,I(x,y)=255时表示图像处于饱和状态,而I(x,y)>255则表示图像严重饱和。这里的(x, y)表示摄像机的像素坐标,a和b分别代表背景强度和调制强度,?则是需要求解的相位值。然而,一旦图像出现饱和现象,条纹的编码信息就会丢失,从而导致相位无法被准确计算。基于移相技术的饱和相位处理用于饱和条纹修复的GAN-U-Net网络GAN网络模型由生成器和判别器组成[32],如图2(a)所示。生成器负责生成图像,而判别器则负责判断该图像是由生成器生成的还是真实的图像。生成器与判别器之间存在一种对抗关系,GAN正是利用这一特性,使得生成器生成的图像更加真实,同时让判别器的识别能力更强。实验为了验证所提出的GAN-U-Net方法的有效性,我们搭建了一个三维测量系统并进行了对比实验。该条纹投影轮廓测量系统包含一台分辨率为1140×912像素的投影仪(DLP LightCraft 4500),以及一台分辨率为1024×1280像素的摄像机(MER-131–210U3M)。三频异频TPU的周期数选取为{73, 64, 56},对应的频率分别为{74/W, 64/W, 56/W},条纹宽度W为912像素。同时,我们也分别开发了GAN-U-Net和传统U-Net两种模型。结论在条纹投影三维测量中,由于摄像机的动态范围有限,被测物体高亮度表面的条纹往往会出现饱和现象,进而引发三维测量误差。传统的高动态范围处理方法包括需要硬件辅助或额外图像辅助的方法,但这些方法并不适用于单帧条纹动态三维测量。而基于深度学习的图像修复方法则更适合用于修复饱和条纹。作者贡献声明杨燕西:论文撰写与修改、可视化处理、资金筹集。张圣华:论文撰写与修改、资金筹集、形式化分析。王建华:论文初稿撰写、可视化处理、结果验证、软件开发、方法设计、资金筹集、数据整理、概念构思。利益冲突声明我们声明自己与他人或组织之间不存在可能影响本研究工作的任何财务或个人关系,也不存在可能影响本文观点或评审结果的任何形式的专业或其他个人利益关系。致谢本研究得到了山东省自然科学基金(项目编号ZR2025MS989)、国家自然科学基金(项目编号62273274)、安康市研发计划(项目编号AK2023-GY-06)以及安康大学平台项目(项目编号2023AYPT10)的支持。披露事项作者们声明不存在任何利益冲突。王建华于2011年在中国矿业大学获得硕士学位,2019年在西安工业大学获得博士学位。目前他是青岛科技大学的副教授兼硕士生导师,研究方向包括光学三维测量和计算机视觉领域。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号