一种用于雷达和相机系统的低成本时空校准方法

《Expert Systems with Applications》:A low-cost temporal-spatial calibration method for radar and camera systems

【字体: 大 中 小 】 时间:2025年12月30日 来源:Expert Systems with Applications 7.5

编辑推荐:

  雷达与摄像头同步校准方法研究提出基于微多普勒特征的时间对齐和目标追踪的空间配准方案,通过人体动作特征匹配实现低成本校准,实验表明时间偏移误差为2帧,空间重投影误差2.35像素。

  
魏何|桂张|刘欣宇|邓振淼|李星龙|叶一山
电子与通信工程学院,中山大学,深圳,广东,518107,中国

摘要

在多模态数据融合中,传感器校准至关重要,因为它有助于同步和融合多传感器输入,从而增强智能系统的感知和决策能力。本文介绍了一种新型的低成本时域-空间校准方法,适用于雷达和相机系统,旨在提高效率和灵活性。时域校准通过微多普勒频谱图中特征点与视频骨骼点的对应关系来对齐雷达和相机的时间戳。空间校准通过结合雷达和相机传感器的跟踪结果来获取相应的2D-3D点对。初始的外部参数通过透视n点(PnP)算法估计,并通过非线性优化进行精细化处理以提高校准精度。实验结果表明,该方法在室外场景下实现了2帧的时间偏移和2.35像素的平均重投影误差,优于其他方法。这项工作为雷达-相机校准提供了一种稳健且实用的解决方案,具有在自动驾驶和智能监控领域的应用潜力。

引言

雷达和相机之间的时域-空间校准是多模态数据融合中的关键技术,因为它确保了多传感器数据的同步和融合,从而增强了智能设备的感知和决策能力。通过校准,传感器可以准确共享信息,支持自动驾驶(Badue, Guidolini, Carneiro, Azevedo, Cardoso, Forechi, Jesus, Berriel, Paix?o, Mutz, de Paula Veronese, Oliveira-Santos, De Souza, 2021, de Aguiar, de Oliveira, Pedrosa, dos Santos, 2021, Nabati, Qi, 2021, Oliveira, Pedrosa, de Aguiar, Rato, dos Santos, Dias, Santos, 2022, Zhao, Shi, Zhuo, 2024a, Zhao, Zhao, Deng, Wang, Zhang, Zheng, Cao, Nan, Lian, Burke, 2024b, Zheng, Li, Tan, Yang, Chen, Huang, Bai, Zhu, Ma, 2023)和智能监控(Gómez, García, Martín, de la Escalera, & Armingol, 2015)等应用。在自动驾驶系统中,典型的传感器包括雷达、激光雷达和相机。虽然激光雷达和相机在雨雾等恶劣天气条件下性能显著下降,但毫米波雷达的性能不受这些因素影响。然而,由于数据稀疏,雷达感知物体纹理的能力有限,这仍然是一个挑战。相比之下,激光雷达和相机传感器提供了详细的纹理信息。尽管如此,激光雷达的高成本限制了其广泛应用,使得结合相机和雷达的传感器融合解决方案在当前系统中越来越受欢迎。
传感器校准确保了传感器数据的一致性,并使得来自不同传感器的检测结果能够统一表示,因此它是传感器融合的关键组成部分。它涉及确定内部参数(每个传感器的物理特性)、外部参数(传感器坐标系之间的转换)和时间参数(传感器时钟的对齐)。在多传感器系统中,手动校准可能非常耗时,当传感器的相对位置发生变化时通常需要重新校准。然而,许多当前的校准方法仍然依赖于使用显式的校准目标,这可能既昂贵又耗时。
传感器之间的时间同步涉及估计起始点的时间偏移和同一帧内的时间位移。基于硬件的方法,如高精度时钟同步模块,可以提供更高的精度。然而,相关成本可能对低成本传感器配置来说过高。此外,目前缺乏专门针对雷达和相机系统的时间同步的文献。
大多数雷达和相机的空间校准方法仍然依赖于显式的校准目标,尽管一些研究人员已经引入了无目标的替代方案。这些无目标方法通常需要对外部参数进行初步估计,或者利用特定的环境特征,如车道标记。然而,与激光雷达数据相比,毫米波雷达的点云较为稀疏,这使得从环境中提取有意义的特征变得具有挑战性。因此,为激光雷达和相机开发的校准方法可能不直接适用于雷达和相机系统。尽管缺乏明确的环境标记,雷达和相机传感器仍然可以提供移动物体的独立跟踪数据,这些数据可用于校准目的。
对于时间校准或时间同步,我们提出了一种基于特征点对应关系的时间同步方法。通过将时间-频率频谱图和视频中人体骨骼点的时间戳对齐,可以准确估计雷达和相机传感器之间的时间偏移。
对于空间校准,我们提出了一种无目标校准方法,首先关联雷达和相机的跟踪结果,然后进行传感器校准。该算法不需要预先估计外部参数。通过使用跟踪关联方法,可以获得对应于同一目标的雷达-相机跟踪对,从而实现准确的2D-3D点对应关系。然后使用透视n点(PnP)算法计算初始的旋转和平移参数,随后通过非线性优化算法将其细化为精确值。
最初的想法是利用现有的传感器系统数据来实现时域-空间校准,因为这种方法具有成本效益和适应性。本文的主要贡献如下:
  • 1.
    对人类手臂摆动运动模式及其对应的雷达回波特征进行了详细分析,得出了人类手臂运动与微多普勒特征之间的关系。
  • 2.
    提出了一种基于时频分析和阈值处理的微多普勒包络提取方法,该方法在人类手臂摆动过程中有效识别关键特征。
  • 3.
    为了解决雷达和相机之间的时间同步问题,引入了一种雷达-相机特征点匹配方法,实现了低成本的雷达-相机时间对齐。
  • 4.
    提出了一种雷达和相机的时域-空间校准方法,该方法无需人工设计的标记即可准确估计传感器的时间偏移和外部参数。
  • 部分摘录

    基于目标的空间校准

    许多现有的校准方法依赖于手动放置的标记来建立雷达和相机传感器坐标系之间的对应关系。例如,Domhof, Kooij, & Gavrila (2021) 提出了一种单目标校准设计,并开发了一个与机器人操作系统(ROS)集成的开源工具来促进其实施。Kim & Kim (2019) 提出了一种用于对齐2D雷达和相机系统的点匹配校准方法,使用角反射器

    时间校准

    第n帧中雷达和相机的时间戳 trn 和 tcn 可以表示为:trn=tr0+nTrtcn=tc0+nTctr< />=tc0+nTc
    因此,关键在于

    时间校准

    时间校准的流程图如图1所示。首先,在手臂摆动过程中收集雷达和视频数据。原始雷达数据使用短时傅里叶变换(STFT)处理,以获得手臂运动的时间-频率表示。视频数据被处理以提取人类骨骼点像素位置随时间的变化曲线。通过在手臂到达最低点时对齐雷达和视频的时间戳,可以确定雷达和

    空间校准

    空间校准的流程图如图9所示。算法首先对原始雷达和图像数据进行对象检测和跟踪,准备提取目标轨迹。在轨迹关联之前,通过根据传感器的不同采样率对齐时间戳来进行数据同步。然后,在获得一定数量的2D-3D点对后进行校准。

    实验设置

    为了验证和评估所提出方法的有效性,使用德州仪器(TI)DCA1000EVM板和AWR1443BOOST模块收集雷达数据,同时使用Logitech C930c相机捕获视频数据。所使用的雷达参数如表1所示。实验过程中,使用MATLAB软件控制雷达和相机,发送数据采集命令以消除手动触发传感器可能引起的误差

    结论

    本研究提出了一种创新的雷达和相机系统的时域-空间校准方法,解决了传感器同步和数据融合中的关键挑战。所提出的框架结合了基于特征点的时域校准技术和无目标的空间校准算法,提供了一种成本效益高且灵活的解决方案,消除了对外部校准标记的依赖。通过利用雷达和相机系统固有的数据,该方法确保了

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号