克服低光照与漏检:基于深度学习的实时车辆协同感知与预警方法

《CHAIN》:Overcoming Low Light and Missed Detection: A Real-Time Vehicle Cooperative Perception and Early Warning Method based on Deep Learning

【字体: 大 中 小 】 时间:2026年01月04日 来源:CHAIN

编辑推荐:

  在交通场景中,车辆的动态特性与随机行为是碰撞事故频繁发生的主要原因。传统预警系统受限于检测精度不足与跟踪效果欠佳,制约了交通安全水平的提升。研究人员提出了一种基于深度学习的车辆安全距离预警系统以提升交通安全水平。该系统的创新点包括:采用自校准照明(Self-C

  
在交通场景中,车辆的动态特性与随机行为是碰撞事故频繁发生的主要原因。传统预警系统受限于检测精度不足与跟踪效果欠佳,制约了交通安全水平的提升。研究人员提出了一种基于深度学习的车辆安全距离预警系统以提升交通安全水平。该系统的创新点包括:采用自校准照明(Self-Calibrated Illumination, SCI)算法克服光照干扰;通过引入二次创新的跨域特征注意力(Cross-Domain Feature Attention, CDFA)机制、重构特征金字塔并整合知识蒸馏技术,对YOLOv11算法进行改进,以平衡检测精度与实时性能;通过应用分组卷积减少参数量并将交并比(Intersection over Union, IoU)替换为MPDIoU以提升跟踪精度,从而改进DeepSORT算法;采用单目视觉测距法计算车辆间距。检测、跟踪与测距模块被集成于车辆安全距离预警系统中。实验评估表明该系统性能显著提升:在公开数据集上,检测模型的mAP@0.5提升3.89%、mAP@0.5:0.95提升2.76%,跟踪模型的多目标跟踪准确度(Multiple Object Tracking Accuracy, MOTA)提升0.9%。此外,实车验证证实了检测与跟踪模块的协同运行有效降低了漏检率,从而切实提升了整体系统的安全性。
## 研究背景与问题提出

随着车云协同与智能网联汽车技术的协调发展,自动驾驶已成为未来智能交通系统的基石。可靠的轨迹预测与主动安全预警需要高效、高精度且轻量化的车辆检测、多目标跟踪与距离估计解决方案,这一需求在车联万物(Vehicle-to-Everything, V2X)通信降级或不可用时尤为关键。在此类场景下,低延迟的车载感知必须独立保障闭环控制的安全性。然而,低光照条件下视觉感知性能严重退化,这促使研究人员广泛探索增强技术。现有方法包括基于深度学习的Retinex分解、零参考曲线估计方法以及面向夜间场景的多光谱融合策略等。尽管这些技术在增强能力方面表现 promising,但其引入的大量计算负担损害了实时处理需求。此外,当前增强框架与检测系统独立运行,缺乏感知全流程的统一优化。计算开销与架构解耦对实际部署构成显著障碍,凸显了将轻量化增强方案无缝集成至端到端检测框架而不牺牲处理效率的迫切需求。

自动驾驶系统中的资源约束要求面向边缘部署的高效架构。GhostNet、MobileNetV3和ShuffleNetV2采用高效卷积操作降低计算成本;知识蒸馏技术将大模型能力迁移至紧凑模型;基于神经网络架构搜索(Neural Architecture Search, NAS)的方法如EfficientDet和DetNAS自动搜索最优架构;量化技术通过降低数值精度压缩模型。尽管各组件取得进展,但当前研究存在若干关键缺口:现有框架缺乏检测、跟踪与测距联合优化的统一流水线;避免计算开销的高效低光照增强方案尚不可用;边缘设备上实时性能与模型轻量化之间的最优平衡尚未解决;现有方法在同时处理遮挡、密集场景和外观变化时的鲁棒性不足。这些方法通常关注单一方面而非整体优化,难以为实际自动驾驶场景平衡精度与紧凑性。这些局限性促使研究人员针对复杂道路环境中的实时车辆检测、多目标跟踪与测距展开系统研究,旨在开发全面有效的端到端解决方案。

## 主要技术方法

研究人员采用以下核心技术构建系统:图像增强采用SCI算法;检测网络基于YOLOv11n轻量变种,引入CDFA注意力机制、MANet-FasterCGLU模块及知识蒸馏进行改进;跟踪网络基于DeepSORT,采用分组卷积轻量化并引入MPDIoU替代IoU;测距采用基于单目相机的相似三角形原理;数据集选用KITTI与BDD100K的低光照与正常场景图像各半,以及UA-DETRAC视频帧序列;实验平台配备GeForce RTX 4060 GPU,基于PyTorch 1.18.0框架训练。

## 研究结果

### 图像增强模块

复杂交通场景中的显著光照变化严重影响车辆检测性能,因此选择最优的低光照增强方法至关重要。研究人员选取2020至2023年代表性算法(EnlightenGAN、RUAS、SCI、URetinex-Net和Zero-DCE),基于BDD100K低光照数据集进行图像增强与目标检测的联合实验。对比结果显示:EnlightenGAN虽提升清晰度但有效检测车辆数减少;RUAS色彩差异还原过强,对光源敏感且易漏检;URetinex-Net模糊光源导致整体模糊与误检;Zero-DCE清晰度不足导致漏检;而SCI算法在提升清晰度的同时保持对光源的适度敏感性,成功检测五辆车辆,识别性能优异。基于此,SCI被选定为低光照增强模块。

### 车辆检测模块

**引入CDFA注意力机制的二次创新**

为缓解环境遮挡导致的车辆检测精度下降,研究人员对CDFA机制进行改进。该机制最初由Lei等人提出用于医学图像分割,通过辅助检测头监控目标与背景特征的表征,经卷积生成Softmax权重图并与原始特征融合以增强目标可区分性。为满足车辆检测需求,研究人员引入基于小波变换的特征增强策略,将WaveletConv模块嵌入辅助检测头。该模块依靠其多分辨率分析能力,同时提取图像的低频分量(背景主导信息)和高频分量(车辆细节信息),实现更准确的车辆与背景判别信息捕获,显著提升遮挡场景下的模型检测性能。

**残差块与特征金字塔的替换**

MANet-FasterCGLU模块的设计灵感来源于清华大学在Hyper-YOLO中提出的混合聚合网络(Mixed Aggregation Network, MANet)结构,该异构卷积操作的集成设计显著增强了骨干网络的特征提取效率。为充分利用CDFA机制在目标-背景分离方面的优势以及WaveletConv模块通过小波变换提取判别特征的能力,研究人员对MANet中的ConvNeck模块进行创新改进,理论基础在于多尺度频率分解与注意力选择之间的协同增强。具体而言,WaveletConv的频率域分解通过多尺度频率分量(低低(LL)、低高(LH)、高低(HL)和高高(HH)子带)显式分离判别性高频边缘特征与冗余低频背景信息,使CDFA能够独立加权不同频率带而非处理混合特征。为最大化该频率-注意力协同效应,研究人员对原始ConvNeck模块采取两项关键改进:采用FasterNetBlock架构重新设计,利用其部分卷积操作减少计算冗余,其深度可分离结构自然契合独立频带处理需求;引入卷积门控线性单元(Convolutional Gated Linear Unit, CGLU)注意力聚合机制,通过并行通路选择性抑制冗余特征并放大判别信息,有效过滤背景噪声并保留关键边缘特征。

**知识蒸馏**

为在保持模型参数、计算复杂度与推理速度不变的前提下提升检测网络精度,研究人员引入知识蒸馏方法。该技术将复杂教师模型的知识有效迁移至精简学生模型,实现计算负担不增加的性能飞跃。研究采用配备自研LSDECD模块的YOLOv11x构建教师模型,轻量化HH-YOLOv11作为学生模型。LSDECD检测头包含三项核心改进:采用组归一化(Group Normalization, GN)替代传统批归一化以解决大模型训练中的批量大小瓶颈;通过参数共享机制整合原始独立特征提取操作,结合可学习尺度模块实现自适应特征处理;采用细节增强卷积(Detail-Enhanced Convolution, DEConv)强化判别性细节特征的提取。

### 目标跟踪模块

**轻量化网络改进**

由于DeepSORT算法需与图像增强模块及HH-YOLOv11检测器协同工作,整体模型参数量与计算复杂度较大。尽管HH-YOLOv11已通过选择YOLOv11n模型降低自身复杂度,仍需进一步对DeepSORT算法进行轻量化改进以提升检测效率与响应速度。为此,研究人员将DeepSORT特征提取网络中的传统卷积替换为分组卷积以实现轻量化。

**损失函数改进**

DeepSORT算法采用级联匹配与IoU匹配双重策略进行目标关联,但面临挑战:级联匹配阶段因车流量遮挡导致车辆外观特征突变、相似度低于阈值而失效;替代的IoU机制存在固有缺陷,当检测框不重叠时IoU为零,无法反映空间位置关系,在复杂交通场景中易产生错配与漏检。为此,研究人员引入MPDIoU替代传统IoU匹配机制。MPDIoU有效克服传统IoU的固有限限,提供更准确的匹配度量并展现更优泛化性能,有效缓解多目标跟踪中目标相互遮挡导致的检测失败问题,提升跟踪稳定性与准确性。

### 单目相机测距方法

研究人员采用相似三角形测距算法高效获取车辆距离信息:基于相机焦距、目标像素尺寸及其实际物理尺寸,利用几何相似性原理计算目标与相机距离。给定前方车辆图像的像素宽度、相机焦距及其实际宽度,即可通过相似三角关系推导目标距离。

### 车辆安全距离预警系统

车辆安全距离预警系统(Vehicle Safety Distance Warning System, VSDWS)是基于深度学习的智能平台,集成低光照增强、高精度检测、多目标跟踪和单目测距技术。其核心功能为实时识别图像/视频中的车辆并计算与本车的相对距离,当距离低于安全阈值时以红框警示碰撞风险。系统界面分为三区:左侧视频显示预警效果;左下交互区包含加载/启停检测和图像增强开关,支持增强前后效果对比;右侧参数区显示检测统计(车辆总数/预警数量)和可调安全距离参数,监控运行状态与日志。

## 实验验证与分析

### 实验环境与数据集

目标检测任务选取KITTI和BDD100K数据集的13,274张图像,低光照与正常场景按5:5比例划分,按7:2:1分为训练、验证和测试集。跟踪任务采用UA-DETRAC视频数据集的10,000帧,同比例划分。实验基于Linux系统,配备GeForce RTX 4060 GPU和16GB RAM,使用PyTorch 1.18.0、CUDA 11.7和Python 3.10,训练300轮次,批大小8,基础学习率0.001,输入分辨率640×640像素。采用随机旋转、随机缩放和随机翻转等数据增强技术。

### 消融实验与对比实验

为验证改进目标检测方案的有效性,研究人员在KITTI和BDD100K标准数据集上进行消融实验。数据显示各改进模块的引入均显著提升了mAP和F1分数,验证了模块的有效性与协同性。从训练曲线可见改进模型始终优于原始模型,间接证明改进算法的可行性。YOLOv11n-all(CDFA与MANet-FasterCGLU融合模型)的特征图可视化显示:CDFA单独使用时跨不同特征深度有效整合多尺度信息的能力有限,车辆目标与背景区域区分较弱;而融合模型呈现显著增强的特征表征,浅层更好保留细粒度空间细节与车辆边界,深层保持强高层语义判别性。该互补多尺度融合机制通过联合利用浅层几何线索与深层语义特征,实现卓越的目标-背景分离。

与主流检测器的对比实验表明,改进算法在公开数据集的mAP和F1分数上均优于主流目标检测方法,具有强车辆检测适应性和轻量化优势,适用于移动/嵌入式平台部署。

跟踪算法的消融与对比实验验证了改进模块均达成设计目标:分组卷积显著降低参数量与计算复杂度以提升实时性;MPDIoU增强目标匹配精度并优化跟踪性能,两者协同实现全面优化。提出的多目标跟踪算法在MOTA上具有优势的同时减少参数量,MOTA相比基准DeepSORT算法提升0.8%,验证了改进方案的有效性。训练曲线显示改进模型在Top-1错误率和损失方面均优于原始模型。

### 实车验证

为验证方案在实际交通场景的适用性,研究人员使用配备车载摄像头的专业数据采集车进行路测,收集真实交通环境数据,涵盖夜间高速公路、夜间繁忙街道、雨天、黄昏和树荫区等低光照驾驶场景。

**车辆检测有效性验证**

通过对比Eigen-CAM热力图,改进算法展现更强的车辆定位能力:相比基线算法激活区域分散、热力图呈团聚状分布,改进算法在目标车辆周围形成聚焦且连续的热分布,直观验证了其增强的特征判别能力和更准确的定位识别效果。实车夜间条件下的视频流分析显示,图像增强显著提升低光照环境下的车辆检测准确度;在交叉口等复杂条件下,改进算法有效减少假阳性和假阴性,展现更优的鲁棒性和可靠性。

**车辆跟踪性能验证**

通过实际行驶车辆采集的20分钟视频进行真实场景分析。对比显示原始方案存在显著身份切换和轨迹丢失,而改进方法展现稳定的身份关联和连续轨迹跟踪,有效证实改进方法在真实交通条件下多目标跟踪任务中增强的稳定性和鲁棒性。

## 讨论与结论

研究人员提出了一种轻量多目标跟踪算法的创新集成,显著增强了复杂驾驶环境中的检测精度和跟踪稳定性。在此基础上开发了具有动态安全阈值的实时车辆距离预警系统。公开数据集评估和实车实验验证了该方法有效提升检测精度、增强ID保持稳定性并降低模型复杂度,为智能网联汽车提供了可靠高效的感知模块。

该方法在智能网联汽车系统中展现出强应用潜力,尤其在低光照感知、实时主动安全预警和轻量化车载部署方面。此外,其为车路协同感知提供了可行路径,支持复杂交通环境中感知与决策的无缝集成。

未来研究将聚焦于雨雾夜间等恶劣条件下的图像增强与多模态数据融合改进、遮挡条件下的长期跟踪稳定性提升,以及面向资源受限嵌入式平台的轻量化部署策略探索,以进一步提升实时性能和能效。这些方向将增强该系统在下一代智能交通和协同车辆网络中的实用价值与工程适用性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号