用于低光照环境下实时事件驱动对象检测的小波增强变换器

《Neurocomputing》:Wavelet-enhanced transformers for real-time event-based object detection in low-light environments

【字体: 大 中 小 】 时间:2026年03月29日 来源:Neurocomputing 6.5

编辑推荐:

  小波增强Transformer检测网络在低光照事件视觉中的应用,通过嵌入小波变换的多分辨率分析抑制背景噪声并保留时空特征,结合优化后的Transformer架构实现实时检测(35FPS),在DSEC、Gen1和1Mpx数据集上mAP达38.4%-65.5%,并通过嵌入式平台验证和低至2.7lux的户外实验验证有效性。

  
崔阳杰|涂展|李道春|高博阳|张毅伟|向金武|董鑫
北京航空航天大学航空科学与工程学院,中国北京 100191

摘要

由于具有高动态范围和微秒级的时间分辨率,神经形态事件相机在低光照环境中的表现更为出色。然而,低光照事件流中固有的强烈背景活动(BA)噪声严重影响了检测精度。传统策略主要采用解耦的流程,将去噪和检测视为独立阶段,这通常会导致不可逆的信息丢失和性能不佳,因为优化目标不匹配。为了解决这些问题,我们提出了一个端到端的小波增强Transformer检测网络(WE-DETR)。该框架将小波变换直接集成到特征提取层次中,以自适应地抑制随机噪声并增强来自事件累积的多尺度结构表示。随后是一个基于Transformer的检测头,用于建模全局时空依赖性,以实现精确的对象定位和识别。在三个基准数据集DSEC、Gen1和1Mpx上的广泛评估表明,WE-DETR始终优于现有方法。此外,在NVIDIA Jetson Orin NX硬件上使用TensorRT FP16进行实时推理,推理速度约为35 FPS,验证了该框架适用于资源受限的嵌入式平台。在低至2.7勒克斯的多种室外场景中的实地实验进一步证实了WE-DETR在极低光照环境中的鲁棒性和实际应用价值。

引言

对象检测是计算机视觉的基石,支持着自动驾驶、智能交通和安全敏感监控等关键应用。虽然传统的基于帧的视觉系统在标准条件下表现出色,但在极低光照环境下,它们的感知保真度会急剧下降。在这种限制下,传统传感器受到运动模糊、放大的随机噪声和降低的对比度的困扰,这些因素共同阻碍了视觉表示和检测精度([1],[2])。即使结合了图像增强或特征放大启发式方法,当光照强度低于20勒克斯时,性能提升仍然有限。这一瓶颈促使人们开发出能够在多种具有挑战性的光照条件下运行的鲁棒感知框架。
事件相机,或称神经形态视觉传感器,作为一种颠覆性的替代方案应运而生。它们通过微秒级的时间分辨率异步捕获每个像素的强度变化,在高速运动和低光照场景中具有明显优势([3],[4])。
然而,在低光照条件下,事件流经常受到显著的背景活动(BA)噪声的污染。这种噪声来源于光子散粒噪声和电路泄漏电流,并通过传感器的对数响应和差分采样电路被放大。这些不相关的噪声事件掩盖了真实对象的区分性时空特征,导致性能严重下降。现有文献主要采用两阶段流程:首先是去噪阶段(例如基于密度的或深度过滤),然后是基于累积的检测。尽管这些方法提高了视觉质量,但去噪目标通常与下游检测任务分离。这种优化差异往往导致过度平滑和细粒度时空特征的抑制,从而在解耦的预处理阶段造成不可逆的信息损失,进而影响检测精度。
除了对噪声的鲁棒性外,实时部署也是基于事件的对象检测面临的另一个关键挑战。尽管事件相机本身提供了高时间分辨率,但现有的检测框架难以将这一优势转化为高效的推理流程。纯基于Transformer的架构虽然在建模长距离依赖性方面有效,但由于特征分辨率的计算复杂性呈二次方增长,导致推理开销很大。例如,ERGO-12 [5] 报告的延迟为69.9毫秒,参数量为59.6M,使得高帧率嵌入式部署不切实际。虽然混合Transformer架构如GET-T [6] 和RVT-B [7] 可以实现有竞争力的精度,但在GPU设置下的推理时间仍为10-17毫秒。相反,轻量级CNN基方法如YOLOv3 Events [8] 虽然延迟较低(22.3毫秒),但精度显著下降(在Gen1数据集上为31.2 mAP)。此外,多模态融合策略 [9],[10] 依赖于帧-事件组合,增加了系统复杂性和功耗。这些定量基准揭示了表示能力、计算复杂性和推理延迟之间的内在权衡,从而迫切需要为嵌入式实时部署优化架构。
为了克服这些限制,我们提出了一种新方法,将噪声抑制直接嵌入到特征提取层次中,实现端到端的协同优化。受到多分辨率分析和经典信号去噪理论的启发,我们将小波变换集成到深度特征学习中。通过将事件累积分解为多尺度子空间,小波变换在频率域自然地将高频噪声与结构边缘分离。这使得在特征级别实现自适应的噪声抑制和结构增强,确保网络保留了预处理模块可能会丢弃的微弱但关键的信号。
此外,为了建模事件数据中固有的全局时空依赖性,我们采用了基于Transformer的检测头。自注意力机制促进了长距离的上下文建模,克服了传统卷积神经网络(CNN)的归纳偏见和有限的感受野。这种架构与基于事件的表示的稀疏、非局部特性完美契合。为了进一步确保实时推理能力,我们采用了高效的事件表示策略,并重新设计了Transformer架构以提高计算效率。具体来说,通过引入轻量级的动态残差上下文块(DRCB)优化了Transformer编码器中的特征融合阶段,显著减少了跨尺度特征交互时的计算冗余。这种架构改进减轻了与注意力操作相关的计算负担,同时保持了强大的表示能力。基于这些设计,我们提出了小波增强Transformer检测网络(WE-DETR)。该框架首先通过嵌入式小波-卷积模块将噪声事件累积转换为抗噪声的多尺度表示。然后,这些特征由Transformer编码器-解码器架构处理,以实现准确的对象查询和边界框回归。
WE-DETR的有效性在三个基准数据集上得到了验证:DSEC[11]、Gen1[12] 和 1Mpx[13]。我们的框架分别实现了38.4%、52.8%和65.5%的平均精度(mAP),始终优于现有的(SOTA)基于事件的检测器。此外,WE-DETR在NVIDIA Jetson Orin NX平台上使用TensorRT FP16优化时实现了约35 FPS的实时推理速度,证实了其在资源受限的嵌入式部署中的可行性。在低至2.7勒克斯的环境中的室外实验进一步验证了该框架的鲁棒性。
本研究的主要贡献总结如下:
  • •
    我们提出了WE-DETR,这是一个统一的端到端框架,它将基于小波的多分辨率分析嵌入到Transformer检测架构中,实现了在分层特征提取中的自适应噪声抑制和结构保留,从而消除了在高噪声低光照条件下的解耦预处理需求。
  • •
    我们提出了一种计算效率高的Transformer编码器,采用基于DRCB的融合机制,在嵌入式部署的限制下实现了检测精度和实时推理性能之间的良好平衡。
  • •
    我们通过对标准数据集(DSEC、Gen1和1Mpx)的广泛基准测试和真实世界飞行实验证明,所提出的方法在极低光照条件下(低至2.7勒克斯)实现了卓越的检测精度,同时保持了适合嵌入式部署的高计算效率。
  • 本文的其余部分组织如下:第2节回顾了基于事件的检测和Transformer应用的相关工作;第3节详细介绍了WE-DETR架构;第4节展示了实验结果和消融研究;第5节总结了本文。

    章节片段

    相关工作

    在本节中,我们全面回顾了三个主要领域的文献:在退化光照条件下的对象检测、基于事件的去噪方法,以及小波变换在深度学习架构中的集成。

    方法论

    本节阐明了WE-DETR的架构设计,该框架专为实时神经形态对象检测进行了优化。我们首先提供了端到端架构的概述(第3.1节),然后详细介绍了时间衰减事件表示(第3.2节)、小波集成特征提取框架(第3.3节)和基于混合Transformer的检测头(第3.4节)。

    实验

    本节对提出的WE-DETR框架进行了全面的定量和定性评估。我们首先详细介绍了实验配置和实现细节(第4.1节),然后与基准数据集上的现有最佳方法(SOTA)进行了比较分析(第4.2节)。最后,我们通过机载嵌入式部署和室外实地实验验证了模型的实时操作能力和鲁棒性(第4.3节)。

    结论

    在本文中,我们介绍了WE-DETR,这是一种专为低光照环境中的鲁棒神经形态感知设计的小波增强检测Transformer。通过结合多分辨率小波分析和基于Transformer的架构,该框架有效解决了强烈背景活动噪声和稀疏信号表示的挑战。小波驱动的框架、高效的混合编码器以及动态重组的集成

    CRediT作者贡献声明

    崔阳杰:撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、验证、软件、方法论、概念化。涂展:撰写 – 审稿与编辑、概念化。李道春:撰写 – 审稿与编辑、概念化。高博阳:撰写 – 原始草稿、软件。张毅伟:方法论、概念化。向金武:撰写 – 审稿与编辑。董鑫:撰写 – 审稿与编辑、概念化。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。
    崔阳杰于2021年获得北京航空航天大学的学士学位,2024年获得北京航空航天大学的硕士学位。她目前正在北京航空航天大学攻读航空工程博士学位。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号