雷达和相机之间的时域-空间校准是多模态数据融合中的关键技术,因为它确保了多传感器数据的同步和融合,从而增强了智能设备的感知和决策能力。通过校准,传感器可以准确共享信息,支持自动驾驶(Badue, Guidolini, Carneiro, Azevedo, Cardoso, Forechi, Jesus, Berriel, Paix?o, Mutz, de Paula Veronese, Oliveira-Santos, De Souza, 2021, de Aguiar, de Oliveira, Pedrosa, dos Santos, 2021, Nabati, Qi, 2021, Oliveira, Pedrosa, de Aguiar, Rato, dos Santos, Dias, Santos, 2022, Zhao, Shi, Zhuo, 2024a, Zhao, Zhao, Deng, Wang, Zhang, Zheng, Cao, Nan, Lian, Burke, 2024b, Zheng, Li, Tan, Yang, Chen, Huang, Bai, Zhu, Ma, 2023)和智能监控(Gómez, García, Martín, de la Escalera, & Armingol, 2015)等应用。在自动驾驶系统中,典型的传感器包括雷达、激光雷达和相机。虽然激光雷达和相机在雨雾等恶劣天气条件下性能显著下降,但毫米波雷达的性能不受这些因素影响。然而,由于数据稀疏,雷达感知物体纹理的能力有限,这仍然是一个挑战。相比之下,激光雷达和相机传感器提供了详细的纹理信息。尽管如此,激光雷达的高成本限制了其广泛应用,使得结合相机和雷达的传感器融合解决方案在当前系统中越来越受欢迎。
传感器校准确保了传感器数据的一致性,并使得来自不同传感器的检测结果能够统一表示,因此它是传感器融合的关键组成部分。它涉及确定内部参数(每个传感器的物理特性)、外部参数(传感器坐标系之间的转换)和时间参数(传感器时钟的对齐)。在多传感器系统中,手动校准可能非常耗时,当传感器的相对位置发生变化时通常需要重新校准。然而,许多当前的校准方法仍然依赖于使用显式的校准目标,这可能既昂贵又耗时。
传感器之间的时间同步涉及估计起始点的时间偏移和同一帧内的时间位移。基于硬件的方法,如高精度时钟同步模块,可以提供更高的精度。然而,相关成本可能对低成本传感器配置来说过高。此外,目前缺乏专门针对雷达和相机系统的时间同步的文献。
大多数雷达和相机的空间校准方法仍然依赖于显式的校准目标,尽管一些研究人员已经引入了无目标的替代方案。这些无目标方法通常需要对外部参数进行初步估计,或者利用特定的环境特征,如车道标记。然而,与激光雷达数据相比,毫米波雷达的点云较为稀疏,这使得从环境中提取有意义的特征变得具有挑战性。因此,为激光雷达和相机开发的校准方法可能不直接适用于雷达和相机系统。尽管缺乏明确的环境标记,雷达和相机传感器仍然可以提供移动物体的独立跟踪数据,这些数据可用于校准目的。
对于时间校准或时间同步,我们提出了一种基于特征点对应关系的时间同步方法。通过将时间-频率频谱图和视频中人体骨骼点的时间戳对齐,可以准确估计雷达和相机传感器之间的时间偏移。
对于空间校准,我们提出了一种无目标校准方法,首先关联雷达和相机的跟踪结果,然后进行传感器校准。该算法不需要预先估计外部参数。通过使用跟踪关联方法,可以获得对应于同一目标的雷达-相机跟踪对,从而实现准确的2D-3D点对应关系。然后使用透视n点(PnP)算法计算初始的旋转和平移参数,随后通过非线性优化算法将其细化为精确值。
最初的想法是利用现有的传感器系统数据来实现时域-空间校准,因为这种方法具有成本效益和适应性。本文的主要贡献如下:
1.对人类手臂摆动运动模式及其对应的雷达回波特征进行了详细分析,得出了人类手臂运动与微多普勒特征之间的关系。
2.提出了一种基于时频分析和阈值处理的微多普勒包络提取方法,该方法在人类手臂摆动过程中有效识别关键特征。
3.为了解决雷达和相机之间的时间同步问题,引入了一种雷达-相机特征点匹配方法,实现了低成本的雷达-相机时间对齐。
4.提出了一种雷达和相机的时域-空间校准方法,该方法无需人工设计的标记即可准确估计传感器的时间偏移和外部参数。