《ADVANCED ENGINEERING INFORMATICS》:Advances in multi-sensor fusion for depth estimation in autonomous vehicles: A comprehensive survey
编辑推荐:
自动驾驶车辆中多传感器融合深度估计的系统研究,分析2020-2025年间74篇文献,发现基于注意力机制和多分支神经网络的深度学习融合架构显著优于传统方法,但存在传感器对齐、计算成本高和可解释性不足等挑战,提出未来需发展自适应系统、轻量模型及统一基准。
穆罕默德·乌马尔|伊姆兰·沙菲|诺曼·艾哈迈德|哈菲兹·穆罕默德·拉扎·乌尔·雷赫曼|伊姆兰·阿什拉夫
巴基斯坦伊斯兰堡国立科学技术大学(NUST)电气与机械工程学院
摘要
精确的深度估计对于自动驾驶车辆(AVs)的感知系统至关重要,它影响着诸如障碍物检测、导航和决策制定等核心功能。虽然激光雷达(LiDAR)、雷达和单目相机等单独的传感器都能提供有价值的数据,但没有一种传感器能够在各种驾驶条件下单独保证系统的稳健性能。多传感器融合成为一种强大的策略,通过整合不同传感模式的互补优势来克服这些限制。本系统文献综述研究了2020年至2025年间发表的关于自动驾驶车辆深度估计的多传感器融合技术的最新研究成果。该综述遵循了Kitchenham协议,并探讨了与融合策略、实际性能、评估方法及当前局限性相关的四个主要研究问题。经过结构化的搜索、筛选和质量评估过程,从五个主要学术数据库中选出了74篇经过同行评审的文章。分析表明,基于深度学习的融合架构,尤其是那些采用注意力机制和多分支神经网络的架构,其性能明显优于传统的早期、中期和晚期融合模型。尽管KITTI和nuScenes等基准数据集仍被广泛使用,但如何将这些模型泛化到新环境以及实现实时部署仍然是持续的挑战。主要局限性包括传感器对准不准确、计算成本高以及缺乏可解释性。本文指出了未来研究的有希望的方向,包括开发自适应融合系统、轻量级可部署模型以及统一的基准测试标准。这些见解旨在帮助提高自动驾驶的安全性和效率。
引言
自动驾驶车辆(AVs)正在快速发展,并且已经在改变全球交通的方式。AVs由多个单元组成,这些单元的数据被整合用于路径规划、轨迹估计[1]、定位与跟踪[2]、[3]、通信安全[4]、[5]、道路占用情况检测和可通行空间检测等。AVs有望确保安全舒适的出行,并减少全球事故数量。
世界卫生组织(2023年)的最新调查显示,每年有超过135万人在道路事故中丧生,至少有2000万至5000万人受伤。其中90%以上的事故是由于人为错误造成的,这表明由自动驾驶系统进行道路巡逻的重要性[6]。自动驾驶导航的核心是准确估计汽车与周围物体之间的距离,这使得AVs能够察觉危险、理解场景、做出决策,并在人类最少的帮助下处理复杂的路线规划[7]。
尽管技术取得了巨大进步,但在真实且不可预测的环境中,感知仍然需要多种传感模式[8]。单目相机适用于纹理识别,但它们不包含深度信息,在低光条件下表现不佳[9]、[10]。激光雷达传感器可以提供详细的3D数据,但成本较高且产生的信息量较少[11]。雷达系统能够很好地应对雾和雨等恶劣天气,但无法提供高质量图像[12]。没有任何一种传感器能够提供足够的信息来完成完整的感知流程。这表明选择智能的方式来利用所有可用传感器的重要性[13]。
目前,人们对深度融合架构非常感兴趣,这些架构在基本层面上合并了多种类型的数据,以实现更好、更可靠的深度估计[14]。然而,由于该领域发展迅速,目前还缺乏对最新研究的全面综述[15]。本文通过系统地探讨当前用于预测自动驾驶车辆深度的传感器融合解决方案,填补了这一空白[16]。比较不同模型有助于发现各自的优缺点,并指出需要改进的研究领域[17]。
自动驾驶车辆的迅速普及及其在实际环境中的测试加剧了对精确、可靠和稳健的感知系统的需求。特别是深度估计因其对自动驾驶车辆的安全导航和决策制定的重要性而受到了研究人员的更多关注。尽管基于激光雷达、相机、雷达等传感器的现有方法能够取得良好的结果,但这些传感器存在固有的局限性,在实际应用中会遇到挑战。因此,需要多传感器融合方法来利用多种传感器的互补优势。
传感器融合领域正在以更快的速度发展,尤其是在自动驾驶车辆中的深度估计方面。最近提出了许多新颖多样的方法。缺乏对这些方法的全面和最新的综合分析,给研究人员在理解当前趋势、识别局限性以及选择合适技术方面带来了挑战。因此,本文献综述旨在系统地分析现有的多传感器融合方法,突出它们的相对性能,并揭示研究空白,以指导自动驾驶系统的未来发展。
本次综述的主要目的包括:
- •
找出用于测量自动驾驶车辆深度的关键技术。
- •
检验这些技术在真实交通环境中的有效性。
- •
揭示现有研究或分析中存在的不足。
- •
为多传感器框架提供发展方向,以推动计算机科学领域的进步。
本综述遵循以下研究问题(RQs)进行:
- •
用于深度估计的主要传感器融合策略是什么?
- •
这些融合技术在各种驾驶条件下的表现如何?
- •
使用了哪些评估指标和数据集?
- •
当前存在的局限性及未来的研究方向是什么?
在本文的其余部分,第2节将描述文章搜索和选择的方法;第3节将介绍各种传感器及其感知能力;第4节将讨论每个研究问题的发现;第5节将给出结论。
方法论
方法论
本节解释了如何根据Kitchenham的指导原则进行系统文献综述(SLR)。整个过程分为三个主要阶段:计划、执行和报告。所有这些步骤都遵循严格的标准,确保其他人在进行自动驾驶车辆深度估计的多传感器融合文献综述时也能获得相同的结果[18]。
背景
本文献综述旨在整理和讨论与自动驾驶车辆中多传感器融合和深度估计相关的过往研究[23]。内容按五个主要领域进行编排:仅使用单目相机的策略[24]、仅使用激光雷达[25]或仅使用雷达[26]、融合多个传感器的方法[11]、传统机器学习与现代机器学习的对比[27],以及不同模型的速度限制[17]。这种编排方式有助于更容易地识别各种方法的特点。
基于研究问题的结果与讨论
本节提供了系统文献综述的综合结果,这些结果围绕引言中定义的四个研究问题(RQs)进行组织。每个小节针对一个具体问题,利用从审查文章中提取的数据提供基于证据的见解、趋势和批判性评估。目标不仅是总结现有知识,还要结合实际应用背景来解释这些发现对自动驾驶车辆深度估计的意义。过去几年中,相关趋势...
结论
本系统文献综述研究了自动驾驶车辆(AVs)中多传感器融合技术的现状。通过对2020年至2025年间发表的74篇高质量研究进行分析,综述强调了从传统的单传感器方法向更复杂的基于融合的策略的稳步进展。
结果清楚地表明,结合使用多个传感器进行深度估计比仅使用单个传感器能够获得更高的准确性、稳定性和灵活性。
CRediT作者贡献声明
穆罕默德·乌马尔:撰写初稿、数据整理、概念构建。伊姆兰·沙菲:方法论设计、形式化分析、数据整理。诺曼·艾哈迈德:可视化处理、软件开发、方法论设计。哈菲兹·穆罕默德·拉扎·乌尔·雷赫曼:可视化处理、软件开发、调查研究。伊姆兰·阿什拉夫:撰写与编辑、验证工作、监督指导。
利益冲突声明
作者声明他们没有已知的利益冲突或个人关系可能影响本文的研究结果。