基于机器视觉的复杂环境车辆识别与检测系统——YOLO-FTG

《Future Transportation》:YOLO-FTG—Vehicle Recognition and Detection System Based on Machine Vision in Complex Environments

【字体: 大 中 小 】 时间:2026年07月02日 来源:Future Transportation 2.5

编辑推荐:

  为有效应对复杂环境下车辆检测的挑战,研究人员提出了一种基于YOLOv11(You Only Look Once v11)的车辆检测方法,命名为YOLO-FTG。首先,通过在YOLOv11基准模型的颈部网络中增设P2检测层及其对应的检测头,以提升对小尺度目标的检

  
为有效应对复杂环境下车辆检测的挑战,研究人员提出了一种基于YOLOv11(You Only Look Once v11)的车辆检测方法,命名为YOLO-FTG。首先,通过在YOLOv11基准模型的颈部网络中增设P2检测层及其对应的检测头,以提升对小尺度目标的检测能力。其次,设计了空间-频率混合卷积(Spatial-Frequency Hybrid Convolution, SFHC)模块,该模块通过Scharr算子提取局部空间边缘信息,同时利用快速傅里叶变换(Fast Fourier Transform, FFT)捕获全局频率结构,并将两者融合以补偿物理模糊造成的细节损失。第三,提出了全局-局部自适应模块(Global-Local Adaptive Module, GLAM),该模块采用可学习的提示向量(prompt vector)在特征融合前主动滤除任务无关的背景噪声(如雾、雨丝等),从而保留有效的局部与全局特征。为验证所提出模型的有效性,研究人员在三个自建数据集及公开BDD100K数据集上进行了实验。实验结果表明,与现有方法相比,YOLO-FTG模型在四个数据集上分别取得了75.3%、98.71%、51.00%和64.59%的mAP50(mean Average Precision at IoU=0.5)分数,相较于基准模型分别提升了3.24%、0.34%、5.64%和3.51%。在保持实时推理速度的同时,这些结果证明了所提出模型在复杂环境中的有效性与鲁棒性。
## 一、研究背景与问题提出

随着社会车辆保有量的持续增长,交通流量统计不清等问题日益凸显,尤其在雾、暴雨、大雪、沙尘等强对流天气及夜间低照度等复杂环境条件下,对交通监控系统和自动驾驶车辆技术产生了显著影响。传统车辆检测方法如背景建模、特征提取与分类、模板匹配及边缘检测等,虽能在一定程度上完成检测任务,但由于依赖手工设计特征,在应对环境变化、目标遮挡和复杂背景时,其检测精度与鲁棒性难以满足实际需求。尽管基于深度学习的卷积神经网络(Convolutional Neural Network, CNN)能够自动提取图像多级特征,展现出更强的泛化能力,但诸如R-CNN及其变体等方法虽精度优异,却存在计算复杂度高、难以满足实时性要求的问题。

现有研究在车辆检测领域已取得显著进展,但在复杂环境(恶劣天气、运动模糊、低照度等)下仍面临挑战。具体而言,复杂环境导致三类突出的图像退化问题:其一,物理模糊(雾、雨、运动模糊)掩盖边缘与纹理细节;其二,低照度与环境噪声破坏全局结构信息;其三,在多尺度特征融合过程中,小目标特征易被复杂背景噪声淹没。现有方法仍存在局限性:引入高分辨率检测层虽能保留小目标细粒度细节,但同时引入额外背景噪声;特征提取可捕获全局结构信息,却倾向于忽视局部边缘细节;现有注意力机制多依赖简单特征拼接,无法在融合前有效滤除任务无关的冗余噪声。因此,亟需构建协同改进的检测框架以系统性解决复杂环境下的车辆检测难题。

## 二、主要技术方法

研究人员提出的YOLO-FTG框架包含三项核心技术模块,形成"恢复-保留-净化"的闭环机制:

**空间-频率混合卷积(SFHC)模块**:该模块部署于骨干网络,用于特征恢复。其并行提取空域边缘特征与频域全局特征并深度融合,以补偿物理退化造成的高频细节与低频结构损失。SFHC采用Scharr算子替代传统Sobel算子进行边缘梯度计算以提升边缘检测精度与噪声鲁棒性;同时利用实数快速傅里叶变换(Real Fast Fourier Transform, RFFT)将图像从空域变换至频域,分解复数张量的实部与虚部,经频域卷积处理后再经逆实数快速傅里叶变换(Inverse Real Fast Fourier Transform, IRFFT)返回空域,最终通过固定权重系数融合空频域特征。

**P2检测层**:该层作为信息保留机制,通过融合浅层骨干特征(1/4分辨率)与经过上采样处理的颈部特征,构建第四检测分支(P2/4),为早期下采样阶段提供高分辨率特征图锚点,防止SFHC模块恢复的小目标微细节在后续处理中丢失。

**全局-局部自适应模块(GLAM)**:该模块部署于颈部末端、检测头之前,作为信息净化机制。其处理来自骨干和颈部的精细化特征图,通过三个并行分支(串行卷积分支、双尺度注意力分支及特征融合与重参数化分支)实现最终的全局-局部自适应特征净化。其中,全局-局部注意力(Global-Local Attention, GLA)子模块采用不同尺寸补丁(patch size p=2用于局部细节,p=4用于全局上下文)划分特征图,经通道平均与前馈神经网络(Feed-Forward Network, FFN)处理后计算注意力权重,并引入基于提示向量的特征选择机制,通过计算局部特征向量与可学习提示向量间的余弦相似度,利用ReLU激活函数抑制负相关特征,仅保留正相关的潜在目标结构。此外,GLAM采用重参数化卷积(Re-parameterized Convolution, RepConv)在训练时构建多分支结构以增强特征表达,推理时等效转换为单分支标准卷积以降低计算复杂度。

## 三、研究结果

### 数据集构建与预处理

本研究构建了三个自建数据集:综合复杂环境数据集(4311张现场采集图像,含9132个行人、19064辆汽车等标注)、监控视频数据集(1130帧授权监控视频图像,含988辆轻型卡车等标注,按时间戳每3秒采样以避免数据泄露)及行车记录仪数据集(3404帧视频提取图像,含3519个行人等标注,模拟运动模糊与前景遮挡)。此外,从公开BDD100K数据集中按官方标签严格筛选恶劣天气图像构建评测子集(训练2400张、验证300张、测试300张)。预处理阶段采用YOLOv11的多图像融合数据增强技术(Mosaic)及自适应图像缩放策略。

### 消融实验

在综合复杂环境数据集上的消融实验表明:基准模型YOLOv11n的mAP50为72.06%,依次引入P2检测层、SFHC模块、GLAM模块后,mAP50分别提升1.33%、0.84%、1.07%,mAP50-95分别提升1.14%、1.20%、1.15%。三模块完整组合时达到最优性能,mAP50为75.3%,mAP50-95为52.1%。其中GLAM独立使用时贡献最为显著,mAP50、mAP75、mAP50-95分别提升1.28%、1.25%和1.33%。帧率(Frames Per Second, FPS)从440.47降至161.39,但仍远超30 FPS实时阈值。

### 模块对比实验

**骨干网络对比**:SFHC模块与SCConv、DynamicConv、iRMB、DCNv4等骨干网络对比,其mAP50达73.76%,较基准提升1.7%,优于基准C3K2模块的72.06%;虽GFLOPs(Giga Floating-point Operations Per Second)为10.3 G,但mAP50-95(49.65%)优于SCConv(48.52%)。

**颈部结构对比**:引入P2层后,mAP50提升1.33%,mAP50-95提升1.14%,参数量仅增加0.07 M,GFLOPs增加3.8 G。

**注意力机制对比**:GLAM与SEAttention、CBAM、DCT-Attention对比,其mAP50-95达49.56%、mAP75达56.01%,优于所有对比机制;虽SEAttention的mAP50(73.25%)略高于GLAM(72.81%),但GLAM在更严格的mAP75指标上超越SEAttention达1.04%。

### 多模型综合对比

在综合数据集上,YOLO-FTG的mAP50达75.3%,超越所有对比模型,较YOLOv11n基准提升3.24%,较2025年新发布的YOLOv12n领先1.78%(mAP50)和1.78%(mAP50-95)。与YOLOv11s相比,YOLO-FTG以1.9 GFLOPs的代价减少3.52 M参数量,mAP50与mAP75分别提升0.13%和0.61%。与高能效架构RT-DETR、Gold-YOLO、YOLO-World对比,YOLO-FTG以5.94 M参数量和23.6 GFLOPs,在mAP50-95上分别超越三者0.95%、0.34%和3.37%。

### 跨数据集验证

在四个数据集上的验证显示:综合数据集mAP50-95提升2.03%、召回率提升3.56%;监控视频数据集mAP50提升0.34%、mAP50-95提升1.11%(精度下降4.56%系增强特征敏感性所致);行车记录仪数据集mAP50-95提升5.64%、精度提升8.52%、召回率提升2.64%;BDD100K恶劣天气子集mAP50提升3.51%、mAP50-95提升3.3%。

### 可视化分析

热力图(基于Grad-CAM++算法)分析表明:基线模型对目标区域的响应较为分散且背景噪声显著,尤其在暗雾环境中易受误导产生广泛错误高响应区域;而YOLO-FTG模型展现出更强的抗干扰能力,能够精准聚焦实际目标,显著抑制复杂背景干扰,对小目标和模糊边缘保持更强且更集中的激活响应。

## 四、讨论与结论

**研究结论**:在恶劣真实环境中,复杂天气变化与极端天气条件对车辆检测和自动驾驶监控产生巨大影响。本研究基于YOLOv11基准建模框架,针对复杂环境中车辆图像的具体特征,设计并集成了三种特征增强策略,开发了面向复杂环境的车辆检测网络YOLO-FTG。

其一,在基准网络中增设P2层及其对应检测头,增强了小目标检测能力,构建了更为全面的特征金字塔,使模型能够同时利用高分辨率细节特征和深层语义信息。其二,通过将Scharr算子与时频域卷积相结合,增强了模型的边缘特征提取能力并扩大了感受野,从而强化了对运动模糊和小尺度目标的捕获能力,有效降低了漏检率和误检率。其三,以SFHC模块替代传统C3K2模块,融合空域与频域特征,提高了复杂环境中车辆检测的精度;空域特征的空间结构信息与频域特征的全局频率信息互为补充,增强了模型对模糊、遮挡等干扰的鲁棒性。其四,在骨干网络与颈部网络之间引入GLAM,通过局部-全局双通路设计自适应地协调多尺度特征,其特征选择机制有效抑制背景干扰的同时增强了关键区域的特征表达。

**意义与价值**:大量实验与可视化分析表明,所提出的特征增强策略有效提升了网络的特征融合与表征能力,实现了复杂环境下车辆识别的性能提升。YOLO-FTG模型在四个数据集上均取得了更高的mAP指标,mAP50分别达到75.3%、98.71%、51.00%和64.59%,提升幅度分别为3.24%、0.34%、5.64%和3.51%。消融实验显示,依次增加额外检测头、SFHC和GLAM分别使mAP50提升1.33%、0.84%和1.07%,mAP50-95分别提升1.14%、1.20%和1.15%。尽管单个模块的绝对改进幅度相对适度,但在多个数据集上的一致改进及闭环协同机制验证了该协作框架的实用价值。

**未来方向**:研究也承认存在以下局限:复杂环境检测数据集主要为自建,对未来智能检测发展构成挑战;SFHC模块计算成本较高,存在硬件优化空间;模型在台风、冰雹等极端天气条件下性能仍需提升,低能见度(<100 m)环境下整体mAP50下降约6至10个百分点,小目标检测受影响最为明显;未对自建复杂环境检测数据集进行去遮挡、去雾、去雨等图像增强操作。未来研究将考虑:与交通部门合作构建开源多模态数据集(含雷达-视觉融合数据);探索先进损失函数设计和多核深度可分离卷积技术以进一步降低模型复杂度;集成概率检测头和气候扰动模拟器以量化极端天气条件下的检测置信度;引入时频变换、小波分析和卡尔曼滤波技术优化特征提取,增强模型在高度动态复杂环境中的鲁棒性与适应性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号