DAPU:基于点云的3D物体检测中的分布感知补丁上采样技术

《Neurocomputing》:DAPU: Distribution-aware patch upsampling for point cloud based 3D object detection

【字体: 大 中 小 】 时间:2026年01月04日 来源:Neurocomputing 6.5

编辑推荐:

  针对LiDAR点云稀疏性与质量不均导致的检测性能受限问题,提出DAPU实时上采样方法。通过建立点云与密集索引图的映射关系加速邻域查询,结合地面点识别器(GPR)区分地物与障碍物,动态调整采样半径阈值平衡计算效率与采样质量,最终实现线性插值上采样以保留三维特征。KITTI/mini-nuScenes/Waymo验证显示AP提升1.2%-1.4%,且保持实时性能。

  
胡英豪|吴艳|莫宇健|王继军|张宇伟
同济大学计算机科学与技术学院,上海,201804,中国

摘要

点云的稀疏性和质量显著限制了基于LiDAR的3D物体检测器的发展。以往的方法通过深度补全或上采样来补充点云数据。然而,前者由于多模态数据之间的差异导致一致性问题,从而使得点云质量不均匀。同时,以往的上采样方法将点云转换为距离图像,导致点精度损失。在本文中,我们提出了一种新的实时点云上采样方法DAPU,旨在解决这些挑战。该方法包括三个关键组成部分:(1)GPR(地面点识别器),它分析同一平面内和不同平面内的点之间的高度差分布以识别地面点,并建立一个从稀疏到密集的索引矩阵,以便快速进行大规模点云查询。(2)DAPKNN(基于分布的补丁KNN),它根据分布动态调整采样半径阈值,以减少计算量并确保远距离点有足够的邻居点被采样。(3)邻居点上采样,它在每对邻居点之间进行线性上采样,以保留所有点特征。KITTI实验显示,该方法在AP(平均精度)上提高了多达+1.2%3D和+1.4%BEV。在mini-nuScenes和Waymo数据集上的额外评估进一步证明了该方法在车辆、行人和自行车检测方面的稳定性,证实了DAPU在多种LiDAR环境和实时应用中的鲁棒性。

引言

自动驾驶车辆中的3D物体检测是实现环境感知和确保安全驾驶的核心技术之一[1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]、[9]。LiDAR捕获车辆周围的3D点云,为自动驾驶系统提供精确的空间信息。然而,点云通常存在稀疏性问题,尤其是在室外场景中,点云呈现出“近处密集、远处稀疏”的分布特征。这种不均匀的分布给自动驾驶系统中的物体识别带来了挑战[10]、[11]、[12]。
点云密集化旨在提高点云的密度,从而提高下游任务的准确性。一个简单的想法是使用图像数据来补偿点云的稀疏性。通过将LiDAR点云与摄像头捕获的图像数据结合,可以生成高分辨率的深度图来填充稀疏的点云数据[2]、[3]、[10]、[13]。另一种解决方案是点云上采样,它通过插值或卷积技术对稀疏且分散的点云进行上采样。由于在3D空间中对LiDAR点云进行上采样的难度和计算成本较高,室外上采样方法[14]、[15]、[16]、[17]将点云表示为距离图像,并在2D图像空间中执行上采样任务。
然而,来自其他模态或视角的数据可能会导致点中的噪声和精度偏差。伪点的生成和处理[18]、[19]、[20]耗时较长,并且会产生大量噪声点,如图1(a)–(c)所示,这会破坏物体的局部结构和边界。受投影变换的影响,上采样方法生成的点精度会降低,如图1(d)所示,可能导致下游任务性能下降。
点云的特性启发我们解决这些挑战。LiDAR点云的分布由传感器的特性决定。LiDAR发射激光束,当激光束遇到障碍物时会反射回来。由于传感器的固有特性,点云呈现出基于激光束的分布特征,即同一激光束内的点密集,而不同激光束之间的点稀疏,如图2(b)所示。图2(c)显示了地面点和障碍物点之间的分布差异,地面点较为稀疏,而障碍物点更加聚集。图2(d)表明,随着距离的增加,同一激光束内的地面点之间的空间距离远大于障碍物点之间的距离。图2(e)显示,在较短距离内,相同大小的深度图像块中的点更密集且更接近,而在较远距离内覆盖的点范围更广。
基于这些观察结果,我们提出了DAPU,一种适用于室外3D空间的实时上采样方法。DAPU包括三个关键组成部分:地面点识别器、基于分布的补丁KNN和邻居点上采样。通过建立点云与密集索引地图之间的相互映射关系,我们实现了高效的点对点查询过程,降低了查询点集邻居的计算成本。由于地面点在水平方向上分散以及基于激光束的分布特性,GPR结合了点密度和高度差分布,实现了快速的表面点识别算法。DAPKNN对障碍物点和地面点进行差异化处理,防止障碍物和地面点之间的重叠。同时,DAPKNN根据距离动态调整采样半径,便于对远距离区域的稀疏点进行上采样。此外,为了解决重复采样的问题,DAPKNN在同一激光束内对点进行了特殊处理,动态平衡了激光束内和激光束之间的邻居点采样。对于每对邻居点,邻居点上采样通过线性插值生成几个中间点。
本文的主要贡献如下:
  • 1.
    通过建立点云与索引地图之间的相互映射关系,我们实现了高效的点对点查询过程,加快了邻居点查询的速度;
  • 2.
    GPR通过结合点密度和高度差分布来识别地面点,实现了对地面点和障碍物之间的差异化处理;
  • 3.
    根据点云分布进行差异化处理,DAPKNN保持了点云的局部结构完整性。
  • 4.
    在KITTI数据集上的广泛实验,以及在mini-nuScenes和Waymo数据集上的额外评估表明,所提出的上采样策略在不同LiDAR配置下一致地提高了多个3D检测器的性能,同时保持了实时性。
  • 章节片段

    点云密集化

    近年来,点云密集化取得了显著进展,通过各种算法和技术提高了稀疏点云的密度,使其能够更好地表示真实世界中的物体和环境。深度补全方法[18]、[19]、[20]、[21]、[22]从高分辨率图像中估计深度,增强了稀疏点云数据。深度补全方法的结果是一个密集的深度图。然而,这一领域依赖于多个传感器,并且受到

    DAPUDet

    在图3中,我们展示了DAPUDet的总体框架,包括:(1)GPR模块,用于创建密集的索引地图,以加速大规模点云之间的双向访问并快速识别地面点;(2)DAPKNN模块,根据深度动态设置查询邻居的半径阈值,帮助查询远距离点云;(3)邻居点采样模块,对每对采样点对进行线性插值上采样

    数据集和评估指标

    KITTI KITTI[53] 3D物体检测基准提供了7481个训练场景和7518个测试场景,每个场景包含RGB图像、LiDAR点云和校准参数。按照标准做法,我们将官方训练集分为3712个样本用于训练,3769个样本用于验证。对于3D物体检测,我们使用40个召回位置(AP R40)来评估3D和BEV(Bird's Eye View)检测。
    mini-nuScenes 我们在官方数据集上进一步评估了我们的方法

    结论

    本文介绍了一种新的上采样方法DAPU,该方法利用点云的分布特性进行3D物体检测。通过采用快速的邻居点查询机制,DAPU有效保留了物体的结构细节,同时保持了实时效率,并在障碍物和地面表面上产生了最小的噪声伪影。
    除了KITTI基准测试外,我们还在数据量减少的条件下对mini-nuScenes和Waymo数据集进行了DAPU的评估。结果

    CRediT作者贡献声明

    胡英豪:撰写——审稿与编辑,撰写——原始草案,可视化,方法论,研究。吴艳:撰写——审稿与编辑。莫宇健:撰写——审稿与编辑。王继军:撰写——审稿与编辑。张宇伟:撰写——审稿与编辑。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
    吴艳于1999年在上海铁道大学获得交通信息工程与控制专业的博士学位。2000年至2003年,她在复旦大学电气工程系担任博士后研究员。她是同济大学计算机科学与技术学院的教授和博士生导师。她发表了或合著了150多篇重要的国内外论文
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号