编辑推荐:
本文提出了一种结合车辆品牌型号识别(VMMR)和车辆颜色识别(VCR)的自动车辆识别系统。该系统采用区域定制数据集,通过语义分割引导的预处理和互补的识别策略,在车牌识别失效的场景下,为执法与监控提供了高效可靠的解决方案,VMMR准确率达94.89%,VCR Top-1准确率达94.17%。
摘要
自动车辆识别(Automatic Vehicle Recognition, AVR)作为计算机视觉和智能交通系统的一个重要分支,近年来受到广泛关注。在真实交通场景中,由于车牌伪造、遮挡或恶劣天气等因素,传统的车牌识别技术往往失效。因此,依赖于车辆外观特征的方法,即车辆品牌型号识别(Vehicle Make and Model Recognition, VMMR)和车辆颜色识别(Vehicle Color Recognition, VCR),成为弥补车牌识别不足的有效替代方案。本研究致力于解决基于外观的车辆识别问题,其核心在于利用车辆固有的视觉线索,如车身轮廓、造型细节和外部颜色。
背景
早期AVR方法严重依赖车牌识别,但其易受伪造、遮挡、恶劣天气和图像质量差等问题影响。近年来,研究重点已转向基于外观的识别方法。VMMR和VCR通过提供互补的车辆属性,增强了在车牌信息缺失或不可读情况下的车辆识别能力,这在追查被盗车辆、管控限制区域和支持安全调查等应用场景中尤为重要。然而,实现高精度的VMMR和VCR仍面临诸多挑战,包括车辆设计的巨大多样性、不同的采集条件(天气、摄像头视角、遮挡)、图像质量问题以及缺乏反映区域车辆分布的最新数据集。通用系统往往缺乏区域适应性,导致在特定地区的部署可靠性降低。
相关工作和数据集
近期研究趋势是将VMMR和VCR整合到统一的AVR系统中,而非作为独立模块。这些研究通过融合车辆品牌、型号、类型和颜色等多种属性到一个工作流程中,展示了联合识别的好处。例如,结合品牌/型号与颜色线索可以提高一致性检查和调查搜索的效率。主要的数据集,如VMMRdb、CompCars、BoxCars116k以及专注于颜色和低光条件的UFPR-VCR数据集,为模型训练和评估提供了基础,但它们也存在类不平衡、领域偏移和区域偏差等局限性。
提出的解决方案
本研究提出了一种混合系统,集成了颜色检测和品牌型号识别的专用模块。系统架构主要包括两个核心节点:检测节点和语义分割节点。
系统流程始于使用预训练的YOLOv8模型进行车辆检测,生成带有边距的边界框以保留关键车身部分。随后,利用在MVP数据集上预训练的DeepLabv3(精细版本,59个组件)语义分割模型,为检测到的车辆生成像素级的分割掩码。
对于颜色识别任务,分割掩码被用来保留与车身颜色相关的区域(如引擎盖、车顶、侧门),同时排除车轮、车灯、格栅、车牌、挡风玻璃和侧窗等不相关部分。这种针对性过滤确保了模型只关注有助于可靠颜色分类的有意义区域。
对于品牌型号识别任务,分割掩码则用于引导提取高度区分的感兴趣区域。通过定位结构标志(如前轮和头灯),系统隔离了从头灯延伸至前保险杠底部的区域。该区域富含能够区分不同品牌-型号-代际类别的风格特征,如格栅设计、头灯形状和保险杠轮廓。
这种模块化设计确保了输出的一致性和时效性,适用于执法和安全关键场景。
实验工作流程
为评估所提系统,研究设计了系列实验,使用从两个不同十字路口的真实交通录像中收集并手动标注的图像构建了自定义数据集。数据集反映了当前欧洲交通构成,涵盖了具有代表性的车辆类型,并排除了摩托车、自行车和卡车。数据收集跨越两个季节和两个地点,引入了光照、阴影、道路条件(干燥与雨天/雾天)以及不同摄像头视角和车辆运动速度的显著变化,使其高度代表具有挑战性的操作监控环境。
颜色识别数据集包含分布在8个颜色类别(银色、白色、黑色、蓝色、红色、灰色、黄色、绿色)的图像。初始版本存在类不平衡问题,后续版本通过调整实现了更均匀的分布。品牌型号识别数据集包含1955张图像,分为24个类别,每个类别对应特定的品牌-型号-代际组合,涵盖了7个制造商和从2000年到2024年的广泛代际,确保了类间变异性和类内差异性的表征。
在实验设置方面,所有深度学习模型均使用PyTorch实现,SVM分类器使用Scikit-learn实现。数据集按80%/20%的比例划分为训练集和测试集,并进行了三次独立迭代以确保结果可靠性。
对于颜色分类,评估了五种先进的架构:EfficientNetV2、MobileNetV3、ResNet-50、ViT-B/16和ConvNeXt。训练过程中应用了数据增强技术,包括调整大小裁剪、水平翻转、旋转和仿射变换,以增强模型对视角差异的鲁棒性。使用Adam优化器进行训练,并采用了学习率调度和早停策略。
对于品牌型号分类,采用了特征提取与线性分类器相结合的方法。使用方向梯度直方图(Histogram of Oriented Gradients, HOG)进行特征提取,并结合支持向量机(Support Vector Machine, SVM)进行分类。评估了不同的HOG空间配置和SVM核参数(RBF核,不同的C和γ值)。此外,也应用了特定的数据增强方法,如高斯模糊、亮度调整和对比度变化。
结果
颜色识别结果:
所有模型在Top-1准确率上都表现出色,EfficientNetV2和ResNet-50获得了最高的加权准确率(约94-95%)。混淆矩阵显示,模型在大多数车辆颜色上实现了高准确率,白色、银色和红色达到了完美预测。主要的错误分类发生在灰色和黑色之间,这源于它们在自然光照变化下的视觉相似性。在考虑第二选择的Top-2评估中,所有模型都取得了优异的结果(加权准确率约98-99%),表明在现实世界的视觉模糊情况下,放宽决策严格性是有益的。F1分数和Cohen‘s Kappa系数(均高于0.93)进一步证实了所有模型在所有颜色类别上的强大、一致和可靠的性能。在模型间,基于CNN的架构,特别是ResNet-50和EfficientNetV2,为车辆颜色识别任务提供了最一致和可靠的性能。
品牌型号识别结果:
系统整体准确率达到94.89%。大多数类别的精确率、召回率和F1分数都超过了90%,表明模型不仅能正确预测,还能检测到每个类别的大部分实例。一些类别,如“Skoda Octavia 2004–2008”,获得了完美的分数。然而,少数类别的性能有所下降,例如“Renault Megane 2003–2009”的精确率相对较低,而“Dacia Spring 2021”的召回率仅为66.67%。当车辆表现出独特的前端特征时,模型能够可靠地将它们与其他类别区分开。但是,一些品牌-型号-代际组合共享非常相似的前端设计特征,增加了误分类的可能性。超参数调优实验表明,分类器性能对提取的HOG特征的空间粒度和SVM核参数都很敏感。使用RBF核(γ=1.0,C=8)和(16, 5)的块维度时获得了最佳性能。
结论
本研究表明,一个分割引导的自动车辆识别系统可以在一个单一的、区域定制的框架内,在VCR和VMMR两方面提供强大而平衡的性能。该系统利用预训练的YOLOv8进行车辆定位,并利用语义分割节点获得细粒度的、部件感知的掩码。
在VCR方面,所有骨干网络都实现了较高的Top-1准确率,EfficientNetV2和ResNet-50领先,MobileNetV3紧随其后;Top-2准确率将每个模型提升至约99%,证实了在现实世界的模糊情况下,允许第二选择有助于解决难题。在VMMR方面,94.89%的整体准确率与在精选数据集上的标准微调基线相比具有竞争力。当独特的前端细节可见时,模型表现最佳,但难以区分外观相似的代际。
从方法论上讲,增加的分割步骤有助于为每个任务提供最相关的像素,减少背景干扰。然而,一些局限性仍然存在:稀有颜色仍然难以处理,来自不同来源的素材可能不匹配,以及少数类别远不如其他类别常见。
展望未来,研究工作将扩展到涵盖更具挑战性的条件(如夜间和暴雨),通过有针对性的数据增强来重新平衡稀有颜色和型号,并不断完善和扩展数据集以跟上不断变化的车辆市场。