基于代理传感器模型为微观交通模拟器实现逼真感知

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》:Empowering microscopic traffic simulators with realistic perception using surrogate sensor models

【字体: 大 中 小 】 时间:2026年09月26日 来源:TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES 8.4

编辑推荐:

   •一种替代传感器模型,仅使用车辆级特征即可模拟逼真的检测结果。 •一种精化多跳视线图(RM-LoS),用于编码自车AV与周围车辆之间的遮挡关系。 •一种几何感知图Transformer,用于衡量遮挡对自车AV感知的影响。 •在模拟数据集和真实数据集上模拟LiDAR和多模态感知

  

•一种替代传感器模型,仅使用车辆级特征即可模拟逼真的检测结果。
•一种精化多跳视线图(RM-LoS),用于编码自车AV与周围车辆之间的遮挡关系。
•一种几何感知图Transformer,用于衡量遮挡对自车AV感知的影响。
•在模拟数据集和真实数据集上模拟LiDAR和多模态感知结果均达到高精度。
•相比其他替代模型,具有更贴近实际应用层面的性能指标。

引言

在过去十年中,自动驾驶汽车(AV)技术已成为智能交通系统(ITS)中日益重要的一部分,重塑了交通系统的运行和管理方式。除了运送人员和货物之外,AV还作为移动感知平台,为各种ITS应用产生有价值的数据(Garg和Bouroche,2023;Luo等,2024;Peng等,2021;Wang等,2023;Ye和Yamamoto,2019)。例如,当多辆AV同时共享感知数据时,它们会形成一个协作感知(CP)环境,并实现协作驾驶策略,从而提升AV车队和人工驾驶车辆的安全性和机动性(Chen等,2021b;Liu等,2024)。从交通基础设施的角度来看,自适应交通信号控制系统可以通过车路通信(V2I)利用AV的观测数据,更准确地刻画接近路口的车辆需求并提升交叉口效率(Li等,2024)。研究人员还探索了利用此类共享的AV观测数据(由于低渗透率通常为部分观测)来重建完整车辆轨迹(Chen等,2024;Zhang和Feng,2024;Zhu等,2026b)以及估计微观交通状态(Li等,2021)以实现交通监控和管控。

然而,由于大量的财务、技术和运营限制以及潜在公众安全风险,支持AV功能的ITS应用的大规模现实实验仍不切实际。因此,仿真已成为新兴AV技术原型设计和评估的主要方法,其支持在多种条件下进行大规模受控实验并产生可重复的结果。

一般而言,支持AV功能的ITS应用的仿真平台可分为两类:基于游戏引擎的仿真器和微观交通仿真器。计算机图形学和高性能计算设备的最新进展使得基于游戏引擎的仿真器能够利用高保真3D渲染和基于物理的车辆动力学,逼真地近似现实世界的驾驶环境。该类别中的代表性平台包括CARLA(Dosovitskiy等,2017)、AWSIM(Autoware Foundation,2022)、AirSim(Shah等,无日期)、LGSVL(Rong等,2020)等。然而,这些仿真器侧重于从自车视角模拟自动驾驶流水线(即感知、规划与控制),不太适合通常模拟大型交通网络中大量多模态道路用户的ITS应用。相比之下,微观交通仿真器以保真度换取计算效率和可扩展性,其仿真环境通常为2D或2.5D,仅提供车辆级特征(如车辆位置、尺寸和运动),缺乏详细的感知或物理建模。车辆动力学由简化的驾驶模型(如跟驰和换道规则)控制,从而实现交通流和多车交互的高效灵活仿真。知名的微观交通仿真器包括SUMO(Krajzewicz等,2012)、VISSIM(PTV Group,2023)等。为了结合两类仿真器的优势,联合仿真平台如CDASim(Bayartsengel等,2024)和OpenCDA(Xu等,2021)将交通流模型与高保真环境生成相结合,实现了对自动驾驶和AV功能ITS应用更全面的评估。

要在仿真环境中模拟AV,生成传感器数据是一项基本要求。基于游戏引擎的仿真器支持灵活配置多模态传感器套件并生成原始传感器信号,如图1(a)所示的RGB摄像头图像和LiDAR点云。可以直接将目标检测算法应用于模拟的传感器数据以生成检测结果。这些高保真仿真器通常作为闭环测试平台,用于测试和验证自动驾驶模块,包括传感器感知、车辆定位、交通预测、路径规划和车辆控制。然而,测试和评估ITS应用通常涉及大量AV及其他道路用户。由于以高频生成传感器信号和渲染3D环境的计算成本(例如超过10 Hz),使用高保真仿真器极为耗费资源。尤其对于网络级应用(如基于AV的路由优化)(Guo等,2021;Zhang和Nie,2018),网络中可能同时存在数十甚至上百辆AV,即便使用高性能计算平台,实时生成传感器数据和渲染物理环境也是不可能的。

作为另一种主流方法,微观交通仿真器仅关注车辆级驾驶行为,不原生支持原始传感器数据仿真或感知建模。如图1(b)所示,通常采用简化或聚合的探测替代方案来近似AV感知结果。例如,Li等(2021)假设"完美"探测,即在AV传感器范围内所有车辆均能被准确检测。更进一步,Li等(2024)将基于Waymo开放数据集(WOD)(Sun等,2020)的LiDAR检测算法的平均精度(AP)结果纳入SUMO仿真中。具体而言,在AV探测范围内的车辆根据从LiDAR检测算法获得的随距离增加的概率被随机丢弃(即视为未观测到)。最近,研究人员(Cao等,2022)采用基于规则的几何物理可见性方法来建模遮挡。如图1(c)所示,对于每辆AV,周围车辆按距离排序,每辆车的边界框角点在2D视场中遮挡一个连续的角扇区。如果一辆车的所有角点都落在先前被遮挡的扇区内,则该车辆被视为被遮挡,否则被视为被检测。然而,这种2D规则化建模可能会高估检测遮挡,因为它忽略了高度维度以及测距传感器的实际感知机制(如LiDAR光束的发射与接收)。因此,图1(b)和(c)中这些简化模型产生的检测结果与图1(a)中对原始传感器数据直接应用目标检测算法得到的结果仍存在显著差异。

综上所述,高保真仿真器能够像真实部署一样生成AV的逼真检测结果,但在涉及大型网络和大量AV的场景中面临可扩展性挑战。另一方面,微观交通仿真器可以高效容纳大量AV,但难以近似逼真的检测输出。简化检测输出与真实检测输出之间的差异可能会进一步影响下游应用层面的性能。

为了在可扩展性与检测真实性之间取得平衡,我们提出了MIDAR——一种基于图Transformer的替代传感器模型,仅使用微观交通仿真器中可用的车辆级特征即可近似真实的LiDAR检测结果。为了融入关于LiDAR可见性的物理先验,MIDAR引入了基于车辆级属性的射线命中信号,以近似LiDAR点覆盖率。基于这些特征,构建了以模拟AV为中心的"精化多跳视线图"(RM-LoS),显式编码车辆间关系(如遮挡),这是影响AV感知的关键因素之一。随后,一种名为LoS-Graphormer的几何感知图Transformer对每条RM-LoS链进行处理,推断模拟AV的LiDAR检测真阳性(TP)和假阴性(FN)。

在本研究中,MIDAR主要训练和评估用于模仿CenterPoint(Yin等,2021)——一种主流的LiDAR目标检测模型,并在模拟数据集和真实世界点云数据集上均达到高精度。为证明其准确性和实用价值,我们进一步通过两个基于协作感知的ITS应用评估MIDAR:自适应交通信号控制和车辆轨迹重建。结果显示,MIDAR产生的应用层面性能指标与简化检测模型存在显著差异,而与真实检测模型产生的性能指标非常接近。这些案例研究还表明,MIDAR可以无缝集成到微观交通仿真器(如SUMO)以及其他提供车辆级特征的数据源(如轨迹数据集)中,生成反映真实世界感知行为的检测输出。

虽然MIDAR主要为LiDAR检测而开发,但由于其核心表示依赖于车辆级特征而非原始传感器数据,因此可扩展至其他感知模态。为评估这种可扩展性,我们使用相同的架构和输入特征进一步训练MIDAR来模仿BEVFusion(Liu等,2023)——一种摄像头-LiDAR融合检测器。

我们的主要贡献如下:
1. 提出的MIDAR模型是率先尝试缩小AV感知仿真中可扩展性与保真度(即检测真实性)之间差距的工作之一。
2. MIDAR轻量高效,易于集成到微观交通仿真器及具有车辆级特征的其他数据源中。相比CARLA等基于游戏引擎的仿真器,MIDAR的计算效率大幅提升,所需GPU和CPU资源少数个数量级。
3. MIDAR在模拟数据和真实数据上近似主流LiDAR检测模型的结果均表现出高精度,并通过摄像头-LiDAR融合检测器进一步验证了其向多模态感知扩展的能力。
4. 两个基于协作感知的ITS应用实验验证了所提替代传感器模型的必要性和实用价值,表明集成MIDAR可生成更准确的应用层面性能指标。

本文其余部分组织如下:第2节介绍MIDAR模型的问题设置与方法;第3节首先在目标检测层面评估MIDAR,然后将其集成到两个基于协作感知的ITS应用中,同时分析MIDAR的计算开销;最后第4节总结全文并提出重要的未来研究方向。

问题设置

提出的MIDAR模型旨在利用微观交通仿真器中可用的车辆级信息来近似真实的感知结果。在本研究中,MIDAR主要针对LiDAR感知进行实例化,但也可扩展至多模态感知。给定一辆自车AV及其探测范围内周围车辆的真实状态,MIDAR模仿指定目标检测模型的结果。

目标检测结果通常可分为TP、…

NuScenes数据集

nuScenes数据集(Caesar等,2020)是一个广泛使用的大型公共自动驾驶(AD)评估数据集。该数据集包含在波士顿和新加坡采集的1000个驾驶场景,涵盖不同地点、天气条件、车辆类型以及左右行交通的多样化交通场景。数据集包含多种感知模态,包括车顶安装的Velodyne HDL-32E LiDAR和提供360°视觉覆盖的六个环绕摄像头。

结论

本研究提出了MIDAR,一个轻量级替代传感器模型,弥合了ITS应用仿真中可扩展性与感知真实性之间长期存在的鸿沟。通过利用车辆级特征和具有物理信息指导的可见性线索,MIDAR无需完整传感器仿真的计算负担即可实现逼真的感知建模。在模拟数据集和真实数据集上的大量评估表明,MIDAR能够很好地近似最先进的LiDAR检测…

代码可用性

本研究中用于训练和评估模型的代码可在https://github.com/Purdue-CART-Lab/MIDAR获取。该仓库还提供了在nuScenes和CARLA上CenterPoint和BEVFusion实验的训练好的MIDAR检查点,可直接用于推理而无需重新训练。

作者贡献声明

Tianheng Zhu:撰写——审阅与编辑、撰写——初稿、可视化、验证、方法论、调查研究、形式分析、数据管理、概念构思。
Yiheng Feng:撰写——审阅与编辑、撰写——初稿、监督指导、资源获取、项目管理、方法论、资金获取、概念构思。

利益冲突声明

作者声明不存在利益冲突。

Tianheng Zhu | Yiheng Feng
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号