在恶劣天气条件下恢复神经辐射场性能

《Engineering Applications of Artificial Intelligence》:Restoring neural radiance fields performance under adverse weather conditions

【字体: 大 中 小 】 时间:2026年04月07日 来源:Engineering Applications of Artificial Intelligence 8

编辑推荐:

  神经辐射场与图像恢复算法结合的三维场景重建方法,解决雨雪雾天气下的空间不一致问题。采用两阶段优化:初期通过几何紧凑性正则化提升场景结构合理性,后期利用WeatherDiffusion的二维先验知识结合分数蒸馏采样(SDS)增强多视角一致性,实验验证其有效性。

  
贺颖|陈甘|余富瑞|李明|马飞|周光
深圳大学计算机科学与软件工程学院,中国广东省深圳市

摘要

神经辐射场(NeRFs)作为一种强大的范式,已被用于建模复杂、逼真的三维环境,在基于场景的机器人定位领域引起了广泛关注。遗憾的是,机器人应用中遇到的环境常常容易受到恶劣天气条件(例如雨、雪、雾)的影响。在这种条件下,现有图像恢复算法引入的质量退化会严重破坏NeRFs的空间一致性重建。为了解决这一挑战,本文提出了一种新的三维场景重建方法,称为WeatherNeRF,该方法将图像恢复算法与神经辐射场框架无缝集成。所提出的方法有效地利用图像恢复算法处理受恶劣天气影响的输入图像序列。为了减轻这些处理后的序列在场景重建过程中引入的无效伪影,我们采用了两种专门设计的正则化函数来增强场景的紧凑性。此外,为了增强场景的一致性和促进有效的场景恢复,我们在重建过程中结合了从图像恢复模型——WeatherDiffusion中提取的二维先验知识,并使用分数蒸馏采样(SDS)。全面的实验评估表明,所提出的WeatherNeRF框架能够有效恢复受恶劣天气条件影响下的神经辐射场,并能够合成高保真的新视图图像。代码和数据可在https://github.com/C2022G/WeatherNeRF公开获取。

引言

神经辐射场(NeRFs)(Mildenhall等人,2021年)已成为合成新视图和隐式重建三维场景的强大范式。通过利用多视图相机图像训练基于坐标的神经网络,NeRFs将几何结构和复杂的视觉外观(辐射)信息封装在三维空间的连续体积表示中。这种表示通过可微分的体积渲染(光线追踪)生成高度逼真的图像,从而在多个领域得到广泛应用。在机器人技术领域,基于场景的定位方法因其能够利用场景坐标回归直接预测图像像素的绝对三维坐标而受到特别关注。例如,iNeRF(Yen-Chen等人,2021年)通过评估NeRF生成的映射与实际相机图像之间的像素级差异来确定相机姿态。此外,NeRFs在机器人运动规划和轨迹优化中的集成也取得了显著进展。诸如NICE-SLAM(Zhu等人,2022年)、Loc-NeRF(Maggio等人,2023年)和RNR-Map(Kwon等人,2023年)等系统成功地将神经隐式表示集成到实时密集的同步定位与地图构建(SLAM)框架中。同样,NeRF-Navigation(Adamkiewicz等人,2022年)有效地利用NeRF表示进行轨迹规划,确保了差分驱动机器人模型的可行性和碰撞避免。
尽管现有的基于NeRF的方法在静态或受控动态环境中的表现令人印象深刻,但在恶劣天气条件下,它们的效果会受到严重影响。恶劣的天气现象,如雨、雪和雾,会引入显著的大气散射和光衰减效应。这些物理过程会降低受影响场景中捕获图像的质量,表现为对比度降低、外观模糊、可见度下降和颜色特征改变。这种退化使得捕获的图像不适合依赖于一致的多视图外观线索的可靠三维重建任务。一个看似简单的解决方案是使用专为恶劣天气设计的先进图像恢复算法对退化的输入图像集进行预处理,然后使用恢复后的图像进行标准的NeRF训练。然而,现有的能够处理多种恶劣天气条件的统一图像恢复架构(Chen和Pei,2023年;Zhu等人,2023年;?zdenizci和Legenstein,2023年)主要是为单图像恢复设计的。因此,它们本质上缺乏对同一场景多个视图的空间一致性的考虑。尽管这些模型能够很好地恢复单图像,但它们经常在视图之间产生伪影和不一致的质量。对于NeRF来说,它本质上依赖于多视图的一致性来进行准确的场景重建,这种预处理输入中的不一致性迫使模型收敛到一个次优解,试图调和相互矛盾的观察结果。这最终导致重建场景的几何和外观出现显著伪影,以及定量重建指标(例如PSNR(Zhang等人,2018年)和SSIM(Wang等人,2004年)的可测量退化。因此,迫切需要一个专门设计用于在多种恶劣天气条件下保持鲁棒性和适应性的新型三维重建框架。
为了有效解决传统算法恢复的图像中的空间不一致性这一关键问题,并使其能够与基于神经辐射场的三维重建无缝集成,我们提出了一种名为WeatherNeRF的新架构。我们的方法专门设计用于弥合单图像天气恢复和多视图一致场景理解之间的差距。具体来说,我们实验性地研究了将几种先进的图像恢复技术(包括WGWS-Net(Zhu等人,2023年)、UtilityIR(Chen和Pei,2023年)以及特别值得注意的WeatherDiffusion(?zdenizci和Legenstein,2023年)作为预处理模块,用于处理受天气影响的输入图像。随后,我们采用了一种强大的两阶段训练策略来优化WeatherNeRF模型。在场景紧凑性重建阶段,使用预处理后的图像集进行初始重建时,恢复图像中的固有不一致性和伪影可能导致几何上不合理的结构(例如漂浮物、背景塌陷)和NeRF中的噪声外观。为了减轻这些无效伪影的引入并增强重建场景的几何合理性,我们引入了两种专门设计的正则化函数来促进场景的紧凑性。这些正则化器协同工作,限制NeRF从不完美的预处理输入中学习更紧凑且物理上合理的三维表示。在空间一致性增强阶段,虽然场景紧凑性重建阶段产生了几何上更清晰的场景,但从单图像恢复预处理中继承的外观不一致性可能仍然存在。为了进一步增强场景的空间一致性和实现高保真恢复,我们利用了强大的图像恢复模型WeatherDiffusion中嵌入的丰富二维先验知识。在此阶段,我们使用分数蒸馏采样(SDS)(Poole等人,2022年)。SDS通过从冻结的WeatherDiffusion模型中提取学到的先验来指导NeRF参数的优化。这一过程有效地将模型对视觉上合理的无天气图像的理解转移到三维重建任务中,使NeRF的辐射场能够展示出更好的多视图一致性和更高的视觉保真度,使其更接近于干净场景的特征。
总结来说,我们提出的框架的核心贡献包括:
  • 我们提出了第一个将NeRF与先进的二维图像恢复无缝集成的框架,能够在各种恶劣天气条件下(例如雨、雪、雾)实现鲁棒的高保真三维场景重建和新视图合成。
  • 我们创新性地采用了分数蒸馏采样(SDS)技术,直接将来自强大的预训练天气恢复模型(WeatherDiffusion)的丰富二维先验知识蒸馏到三维NeRF优化过程中。这种新的集成显著提高了多视图的空间一致性和视觉保真度。
  • 通过全面的实验,我们证明了/name可以从受恶劣天气条件严重退化的输入中有效恢复高质量的神经辐射场。该框架可以连续合成具有空间一致性的高保真新视图,从而验证了其在恶劣天气条件下的实际鲁棒性。

相关工作

相关研究

神经隐式表示和天气恢复。最近在隐式3D重建方面的进展——特别是神经辐射场(NeRFs)——显著提高了新视图合成的质量(Fridovich-Keil等人,2022年;Sun等人,2022年;He等人,2024年;Yu等人,2021年)。后续的改进显著增强了NeRFs处理复杂、大规模环境的能力。例如,MipNeRF360(Barron等人,2022年)引入了圆锥台采样并进行了集成

数据合成

为了建立一个全面且具有挑战性的恶劣天气场景重建基准,以便严格评估WeatherNeRF框架的有效性,我们合成了一个包含多种天气引起的退化的多模态数据集,该数据集基于现有的高质量日常生活数据集。具体来说,我们使用了LLFF数据集(Mildenhall等人,2019年),其中包含四个代表性的室内和室外场景:蕨类植物、霸王龙、花朵和叶子。这些场景展示了丰富的

集成恢复和重建

WeatherNeRF引入了一种在恶劣天气干扰下进行场景重建的新框架。如图2所示,我们的方法成功地恢复了具有高外观保真度的几何一致场景——从受三种不同恶劣天气条件(雨、雪和雾)污染的训练图像(左)生成新的视图渲染(右)。本节详细介绍了我们设计的用于解决几何伪影和

实施细节

我们的模型使用Adam优化器(Kingma和Ba,2014年)进行模型训练,超参数配置如下:学习率lr=1e?2β1=0。9β2=0。99?=1e?15。我们的实现使用PyTorch(Paszke等人,2019年)作为编程框架,所有实验都在单个NVIDIA GeForce RTX 3090 GPU上进行。在场景紧凑性重建阶段,我们每次迭代随机采样8192个像素。在随后的空间一致性增强阶段,我们采用

结论

本文介绍了WeatherNeRF,这是一种克服了在恶劣天气条件下神经辐射场(NeRFs)重建中空间不一致性这一关键问题的新框架。通过将先进的二维图像恢复与神经场景表示无缝集成,我们的方法采用了一种两阶段优化策略:场景紧凑性重建阶段通过专门的正则化器确保几何合理性,而空间一致性

CRediT作者贡献声明

贺颖:写作——审稿与编辑,监督。陈甘:写作——初稿。余富瑞:写作——审稿与编辑。李明:软件。马飞:资源。周光:资源。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。

致谢

本工作部分得到了深圳市科技计划(项目编号KQTD20210811150132001和ZDSYS20220527171400002)以及国家自然科学基金(项目编号62271324、62231020、62394335和62371309)和广东省人工智能与数字经济实验室开放研究基金(项目编号GML-LF-24-32)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号