通过具有上下文感知的时空建模技术,实现单光子激光雷达的高空间分辨率和精细的深度重建

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:Towards High spatial resolution and fine-grained fidelity depth reconstruction of single-photon LiDAR with context-aware spatiotemporal modeling

【字体: 大 中 小 】 时间:2025年12月22日 来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.2

编辑推荐:

  张振宇|李媛|朱飞虎|马月超|吕俊英|孙倩|李琳|张武明 中山大学地理空间工程与科学学院,珠海519082,中国 摘要 尽管单光子激光雷达(LiDAR)承诺提供革命性的深度感知能力,但现有的深度学习框架在处理高空间分辨率(SR)数据时存在根本性缺陷。为了解决高SR单

  张振宇|李媛|朱飞虎|马月超|吕俊英|孙倩|李琳|张武明
中山大学地理空间工程与科学学院,珠海519082,中国

摘要
尽管单光子激光雷达(LiDAR)承诺提供革命性的深度感知能力,但现有的深度学习框架在处理高空间分辨率(SR)数据时存在根本性缺陷。为了解决高SR单光子数据中精细几何细节的放大和复杂的时空依赖性问题,我们采用了带有密集跳跃连接的U-Net++骨干网络来保留高频特征。我们的编码器级联了两个新颖模块,整合了注意力驱动的调制和卷积,以适应性地建模复杂模式而不牺牲细节。我们提出了一个3D三重局部注意力融合模块(3D-TriLAF),以抑制时间、空间和通道轴上的不连贯响应。同时,设计了一个相反的连续膨胀时空卷积模块(OCDSConv),以提取结构化上下文的同时保留瞬态线索。为了缓解低级和高级特征之间的不对齐和语义漂移问题——这些问题会随着分辨率的提高而加剧——我们设计了一种多尺度融合机制,以促进跨尺度的几何建模一致性。最后,我们提出了一种混合损失函数,结合了序数回归(OR)损失、结构相似性指数(SSIM)损失和双边总变分(BTV)损失,以共同增强峰值定位、结构保真度和边缘感知的平滑度。在两个128×128 SR的模拟数据集上的广泛实验表明,与最佳基线相比,我们的框架将RMSE和Abs Rel分别降低了60.00%和31.58%。在两个(200+)×(200+) SR的真实世界数据集上,RMSE和Abs Rel分别降低了42.31%和39.44%。这些定量增益和在复杂光照条件下的几何连续性视觉改进证实了其在高SR单光子深度重建中的适用性。

引言
基于单光子雪崩二极管(SPAD)的单光子激光雷达(LiDAR)是一种先进技术,通过捕获单光子级别的微弱信号实现高灵敏度检测(Niclass等人,2007年;Renker,2006年)。利用SPAD阵列的协同效应,单光子LiDAR表现出极高的光子检测效率和时空分辨率,同时显著降低了系统能耗和光功率要求(Buller和Wallace,2007年;McCarthy等人,2013年;Pawlikowska等人,2017年)。这些突破性优势使其在深空探索、量子通信(Hao等人,2024年)、生物医学显微镜(Bruschini等人,2019年)、水下资源调查(Lin等人,2023年)和自动驾驶(Rapp等人,2020年)等领域具有重要的应用潜力。

通常,基于SPAD阵列的单光子LiDAR使用时间相关的单光子计数(TCSPC)技术进行物体检测。在每个像素处,它重复发射脉冲并累积返回的光子与飞行时间(ToF)的计数,以生成光子时间直方图,其中峰值表示从传感器到物体的距离。然而,直接获取的TCSPC数据通常伴随着大量的噪声。噪声的主要来源包括由环境光引起的泊松随机噪声,例如阳光或背景光源产生的非同步光子(Li等人,2021年;Shin等人,2015年),以及由SPAD硬件条件引起的伪光子计数,例如内部热激发产生的暗计数噪声或载流子保留后的后脉冲噪声(Bian等人,2023年)。这些噪声叠加在光子时间直方图上,可能会掩盖真实的目标峰值或产生伪影,使得深度重建问题变得非凸,严重降低深度信息的准确性和可靠性(Lindell等人,2018年;Shin等人,2015年)。为了解决这些挑战,基于统计模型的单光子深度重建方法已被广泛研究,但它们在实际应用中仍面临多个瓶颈,难以满足复杂场景中的精度要求。首先,传统方法依赖于固定阈值过滤或基于泊松分布的统计模型来抑制噪声。这很难动态适应不同场景中环境光噪声或硬件噪声的复杂时空分布,尤其是在信噪比(SNR)较低的弱信号环境中(Chen等人,2020年;Lee等人,2023年)。其次,处理光子时间直方图的方法通常使用非参数峰值搜索或反卷积方法。当目标的反射率变化显著或存在多路径干扰时,简化的假设(如单峰高斯模型)可能导致伪影或细节丢失(Altmann等人,2016年;Rapp等人,2020年;Shin等人,2016年)。

近年来,基于深度学习的单光子深度重建方法与传统概率统计模型相比显示出显著优势。首先,与传统方法依赖于手动设计的噪声抑制策略和局部/全局先验假设不同,深度学习可以通过端到端训练独立挖掘数据中的光子事件的时空相关性(Lindell等人,2018年;Sun等人,2020年;Zhang等人,2024a;Zhao等人,2022年)。例如,非局部神经网络使用全局自注意力机制来捕捉信号和噪声之间的分布差异,显著增强了噪声抑制能力(Peng等人,2020年;Peng等人,2022年)。其次,传统方法通常需要多次优化迭代,并且计算复杂度高。相比之下,深度学习模型可以通过并行计算和硬件加速大大提高处理速度(Yang等人,2022年)。此外,深度学习方法可以通过传感器融合策略(如联合强度图像)(Sun等人,2020年;Yang等人,2024年)增强空间上下文感知能力,并在目标边缘保持和非视距散射场景解释方面表现出色(Ma等人,2025年)。实验表明,在具有挑战性的任务中,深度学习方法的重建误差比传统方法低50%以上(Peng等人,2022年;Zhao等人,2024年)。

尽管基于深度学习的方法显著提高了单光子LiDAR的成像精度,但常用的卷积操作和损失函数容易引入过多的平滑度,导致高频信息(如边缘或细节)的检索不理想。这个问题通常可以通过提高数据的空间分辨率(SR)来缓解(Lee等人,2023年)。同时,高SR的SPAD阵列单光子LiDAR也是硬件开发的一个重要趋势。然而,大多数现有的深度学习模型是在32×32或64×64的低SR训练范式下设计的(Felipe等人,2023年;Lindell等人,2018年;Peng等人,2020年;Yao等人,2022b;Zang等人,2021年)。这是因为高SR数据的大量时间和记录会大大增加计算复杂性,并使特征集成复杂化。当这些在低SR范式下训练的模型应用于高SR数据时,它们几乎无法充分利用数据中包含的详细特征。一些研究引入了与单光子数据严格配准的高分辨率强度图像来训练模型,从而补充高频信息。然而,在实践中,由于硬件同步、动态目标运动或复杂光照条件等限制,这些强度图像往往难以稳定获得。此外,一些研究尝试通过在具有重叠区域的高SR光子数据上训练和泛化来规避内存限制(Sun等人,2020年;Yao等人,2022a)。然而,这种策略引入了新的问题。基于块的操作往往难以在相邻块之间保持深度重建的一致性(例如长距离墙壁上的阶梯状变化)。此外,小目标或边缘区域被切割成不同的子块后,时空信号完整性受损,导致成像结果模糊或不连续。尽管块重叠设计可以减轻边界伪影(Tian等人,2022年),但它增加了计算冗余和后处理负担(Qu等人,2021年),并且合并步骤可能会引入人为的平滑效果,降低高频细节的真实性(Sui等人,2024年)。更重要的是,基于块的策略本质上仍然是对低SR范式的妥协,无法突破模型在全局上下文建模方面的限制。因此,仍有空间开发针对单光子LiDAR成像的端到端模型,特别是对于更高SR的数据(Guo等人,2023年)。

单光子LiDAR成像中的高SR引入了两个关键挑战:精细几何特征的放大和在密集时空体积中建模连贯上下文的难度。这些要求对传统的深度学习框架造成了相当大的压力,因为它们通常是为粗分辨率输入优化的。结果,它们倾向于过度平滑高频细节,并难以保持时空一致性,最终限制了深度重建的保真度。为了解决这个问题,我们提出了一个针对高SR单光子输入的基于U-Net++的端到端框架。该网络以压缩的时间直方图作为输入,这减少了计算负担,同时保留了信号结构。为了提高对高SR数据的适应性,我们的框架结合了一个上下文感知的编码器,该编码器级联了两个新颖模块:3D三重局部注意力融合(3D-TriLAF)模块和相反的连续膨胀时空卷积(OCDSConv)模块。3D-TriLAF模块在时间、通道和空间轴上重新加权特征,以捕获复杂的局部模式,特别是解决信号稀疏性和时空噪声问题。OCDSConv模块采用非对称膨胀卷积来提取全局上下文,同时保持对瞬态线索的敏感性,减轻了各向同性卷积编码器中常见的不稳定性问题。在瓶颈处,我们引入了一种基于非局部自注意力的多尺度融合机制,以减轻特征层次之间的语义不对齐并保持几何一致性。解码器集成了轻量级的挤压-激发深度可分离卷积(SEDSConv),以最小的开销恢复空间细节。最后,我们制定了一个结合序数回归(OR)、SSIM和双边总变分(BTV)的混合损失函数,以共同优化结构保真度、深度平滑度和边缘保持。在128×128 SR的模拟数据上训练的模型能够有效地泛化到实际世界的256×256 SR输入,实现跨多样化场景的高保真度重建。本文的贡献总结如下:
1. 我们提出了一个基于U-Net++的单光子深度重建框架,具有对高SR数据的强适应性。与在低分辨率约束下训练的传统模型不同,我们的设计明确解决了在高SR级别引入的几何细节放大和建模困难。
2. 提出了两个专门的编码模块:3D-TriLAF和OCDSConv,以解决信号稀疏性、空间不稳定性和不连贯时间模式的挑战。前者通过多维注意力捕获复杂的局部结构,而后者利用各向异性膨胀卷积来增强上下文感知,而不牺牲瞬态敏感性。
3. 设计了一种多尺度特征融合机制,以在高分辨率条件下缓解U形架构中的语义漂移和不对齐。它有效地将全局几何线索耦合到特征层次中,提高了细粒度保真度,并在复杂深度场景中增强了重建的鲁棒性。
4. 我们制定了一个结合OR损失、SSIM损失和BTV损失的混合损失函数。这共同强制了时间排序、结构一致性和边缘感知的细化,实现了在准确性、去噪和细节保持之间的平衡优化。

本文的其余结构如下。第2节回顾了单光子LiDAR深度重建的先前方法。第3节介绍了单光子LiDAR成像的观测模型和模拟数据集的构建。第4节详细介绍了网络架构、关键模块和混合损失函数的构建。第5节提供了实验结果,包括在不同数据集上的性能评估和可视化分析,并通过消融研究验证了每个模块的有效性。第6节总结了本研究并对未来工作提出了建议。同时,考虑到本文涉及许多变量,附录A中的补充数据为读者提供了带有清晰解释的变量列表以供参考。

深度重建网络架构
U-Net是一种广泛采用的单光子LiDAR深度重建架构,因其对称的编码器-解码器结构和跳跃连接,有助于多尺度特征传播(Zhao等人,2025年)。然而,在高SR设置下,由于严重的噪声和丰富的几何细节,简单的跳跃连接往往导致浅层空间线索和深层表示之间的语义不对齐(Cai和Yuan,2022年;Ronneberger等人,2015年)。为了缓解这一点,我们采用了U-Net++(ZhouSimulated数据集
获取单光子成像数据成本高昂且变化较大,而深度学习需要许多高质量样本。模拟提供了受控的、多样化的训练和评估场景。经典的Lindell等人(2018年)模拟器模型模拟了激光脉冲传播、表面反射和RGB-D场景的探测器响应,生成了不同信噪比(SBR)级别的光子计数数据,并使用RGB-D真实值来评估鲁棒性和准确性。

网络概述
每个像素的TCSPC数据通常用于形成光子时间直方图。根据光子计数激光雷达的观测模型,该光子-时间直方图大致反映了重复脉冲周期内返回脉冲的波形,同时伴随着较强的噪声(观测模型的详细信息见补充数据中的附录B)。如果将激光脉冲周期Tr划分为T个统计间隔(T = Tr / Δ,其中Δ为间隔持续时间),那么单光子NYU v2仿真数据集的结果如图11所示,该图展示了所提出模型以及五种基准方法(Felipe等人,2023年;Lindell等人,2018年;Peng等人,2020年;Yao等人,2022b年;Zang等人,2021年)在NYU v2数据集上的性能。图11(a)-(c)展示了在不同SBR水平下所有方法的性能,其中x轴代表不同的SBR值,y轴代表各项指标的平均值。图11(d)基于总体平均值比较了各种方法的性能。

**结论与未来工作**
总之,本研究提出了一个高分辨率自适应单光子深度重建框架,该框架具有几个关键的创新架构特点:
1. 面向高SBR的U-Net++主干网络:我们采用U-Net++作为架构基础,因其具有密集嵌套的跳跃路径,并进一步对其进行了定制。这一选择为保留高频细节以及在CRediT带来的放大几何和时空复杂性下传递层次化上下文提供了结构上更强的支持。

**作者贡献声明**
张振宇:撰写——审稿与编辑、撰写——初稿、可视化、方法论。
李元:撰写——审稿与编辑、监督、资金获取。
朱飞虎:撰写——审稿与编辑、监督。
马跃超:撰写——审稿与编辑、监督。
吕俊英:方法论。
孙倩:方法论。
李琳:撰写——审稿与编辑、监督。
张武明:撰写——审稿与编辑、监督。

**利益冲突声明**
作者声明他们没有已知的可能会影响本文所报告工作的财务利益或个人关系。

**致谢**
本工作得到了北京控制工程研究所空间光电子测量与感知实验室开放基金(编号LabSOMP-2024-09)、广东省基础与应用基础研究基金(编号2024A1515012079)以及国家自然科学基金(编号42201476)的支持。作者感谢何伟吉教授及其团队提供了第5.1.4节中使用的南京航空航天大学数据集。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号