基于双视角融合Transformer的相机-雷达三维目标检测方法DPFT

《IEEE Transactions on Intelligent Vehicles》:DPFT: Dual Perspective Fusion Transformer for Camera-Radar-Based Object Detection

【字体: 大 中 小 】 时间:2025年12月08日 来源:IEEE Transactions on Intelligent Vehicles 14.3

编辑推荐:

  本文推荐一种创新的相机-雷达融合感知方案DPFT,针对自动驾驶在恶劣天气下感知可靠性不足、雷达点云稀疏性限制融合性能等问题,提出将4D雷达原始数据投影至距离-方位角(RA)和方位角-俯仰角(AE)双视角,通过改进的可变形注意力机制实现多模态特征交互。实验表明,该方法在K-Radar数据集上达到56.1%的3D mAP,尤其在雨雪天气下较基线方法提升显著,推理时间仅87ms,为自动驾驶系统提供了高鲁棒性、低延迟的感知解决方案。

  
在自动驾驶技术飞速发展的今天,如何让车辆在各种复杂环境下实现精准感知始终是核心挑战。摄像头虽然成本低廉,但在夜间或雨雪天气下容易失效,且无法直接测量深度信息;激光雷达(LiDAR)虽能提供高精度三维数据,但价格昂贵且同样受恶劣天气影响。雷达(Radar)作为主动传感器,具备测速能力和天气鲁棒性优势,但其原始点云数据稀疏、分辨率低,导致传统雷达感知性能远落后于其他传感器。尤其当现代4D雷达(增加俯仰角信息)逐渐普及时,如何有效利用其多维数据并与相机融合,成为提升自动驾驶系统鲁棒性的关键突破口。
为解决上述问题,慕尼黑工业大学Felix Fent团队在《IEEE Transactions on Intelligent Vehicles》发表研究,提出名为双视角融合Transformer(DPFT)的新型相机-雷达融合框架。该研究首次将4D雷达原始数据(雷达立方体)引入融合系统,通过双视角投影和模态无关的注意力机制,在K-Radar数据集上实现56.1%的3D平均精度(mAP),尤其在雪雾天气下性能超越激光雷达方案,推理时间仅87毫秒,为低成本、高鲁棒自动驾驶感知提供了新范式。
关键技术方法包括:1) 将4D雷达立方体投影至距离-方位角(RA)和方位角-俯仰角(AE)平面,形成与相机图像平行及垂直的两种视角;2) 采用ResNet-101(相机)和ResNet-50(雷达)双分支特征提取网络,结合特征金字塔网络(FPN)对齐多尺度特征;3) 设计基于可变形注意力机制的融合模块,通过3D查询点投影至多视角特征图实现特征交互;4) 使用集合到集合损失函数和迭代边界框优化策略提升检测精度。
研究结果验证双视角融合有效性。在K-Radar数据集测试中,DPFT在正常天气下达到55.7% mAP,在雨雪天气下仍保持50.5%以上性能,显著优于雷达基线RTNH(47.4%)和相机-雷达融合方法EchoFusion(47.4%)。
消融实验表明,单独使用RA视角或AE视角的融合模型性能分别为48.5%和11.1%,而双视角融合提升至50.5%,证明平行视角(RA)提供鸟瞰图(BEV)空间关系,垂直视角(AE)增强相机-雷达关联性的互补作用。
鲁棒性分析揭示模型在传感器故障时的退化特性。当相机或雷达单独失效时,融合模型性能分别降至1.1%和11.1%,但通过模态丢弃训练策略可提升至9.2%和37.5%,证明DPFT具备部分故障容忍能力。
复杂性测试显示,DPFT在NVIDIA V100显卡上推理耗时87±1ms,内存占用4.0GiB,计算量0.16 TFLOPs,优于EchoFusion(348ms)和MixedFusion(143ms),满足实时处理需求。
讨论部分指出模型在交叉目标检测和目标分离方面存在局限,例如对横向移动物体航向角估计不准,密集场景下易产生漏检。
研究者建议未来引入时序信息建模和实例无关检测头进一步提升性能。
该研究的核心意义在于突破了传统相机-雷达融合对点云数据和单一视角的依赖,通过原始雷达数据利用和双视角交互机制,为自动驾驶感知系统提供了兼顾性能、鲁棒性与实时性的解决方案。尤其在恶劣天气频发的实际场景中,DPFT验证了雷达模态的不可替代性,为下一代多模态感知算法设计指明了方向。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号