《Image and Vision Computing》:Multi-detail fusion with adaptive hard mining for robust vehicle re-identification
编辑推荐:
•介绍了MDF-ReIDNet,一个新颖的端到端框架,协同自监督基础模型与自适应度量学习,实现鲁棒的车辆再识别。•开发了动态部件提案网络(DPPN),预测输入自适应的局部区域,以减少对刚性空间划分的依赖。•提出了一种新颖的细节融合加权(DFW)模块,在局部部件之间建立长程语义
- •
介绍了MDF-ReIDNet,一个新颖的端到端框架,协同自监督基础模型与自适应度量学习,实现鲁棒的车辆再识别。
- •
开发了动态部件提案网络(DPPN),预测输入自适应的局部区域,以减少对刚性空间划分的依赖。
- •
提出了一种新颖的细节融合加权(DFW)模块,在局部部件之间建立长程语义依赖,确保连贯且具有空间顺序的全局表示。
- •
设计了混合硬三元组损失(HHTL),具有动态间隔自适应特性,以增强对细粒度类间相似性的判别能力。
引言
车辆再识别(Re-ID)是智能交通系统(ITS)和智慧城市监控的基石,旨在在大规模、非重叠的摄像头网络中重新定位目标车辆。该问题被广泛认为是细粒度模式识别领域最具挑战性的任务之一。与行人再识别不同,车辆再识别涉及刚性结构,但面临极端的类间相似性和高度的类内变异性。例如,两辆不同的白色轿车(具有不同ID)在外观上可能几乎完全相同,而同一辆车(具有相同ID)的多张图片可能因摄像头角度、光照变化和严重遮挡而表现出显著的结构差异。因此,仅依赖整体视觉外观的模型表现不佳,这使得捕捉具有判别力的细粒度拓扑线索(如挡风玻璃贴纸、定制轮毂或格栅设计)变得至关重要。
近年来,研究重点从卷积神经网络(CNN)向视觉Transformer(ViT)[1]、[2]发生了显著转变。虽然基于CNN的方法凭借其强大的归纳偏置和在局部纹理建模方面的有效性而长期占据主导地位,但其有限的感受野限制了捕捉整个车身长程语义关系的能力。相比之下,基于ViT的基础模型(如DINOv2)通过多头自注意力机制,在编码全局上下文和以对象为中心的表示方面非常有效,但它们往往牺牲了卷积带来的细粒度几何局部性,并且通常需要大规模的训练数据。这种对比促使了混合学习方案的发展,旨在同时捕捉全局结构连贯性和局部高分辨率细节。
大多数现有方法通过利用语义解析或引入额外的复杂组件(如基于图的模块)来解决局部细节建模问题。基于解析的方法需要像素级标注数据和额外的分割网络来分解车辆,而基于图神经网络(GNN)[3]的方法在推理过程中会产生巨大的计算成本。更重要的是,车辆再识别提出了一个特殊的结构挑战。虽然车辆是刚性物体,但判别性组件(如前灯、格栅、挡风玻璃和车轮)的可见位置和空间关系在不同的摄像头视角下会有显著变化。因此,在一个视角中包含高度判别性组件的局部区域,在另一个视角中可能对应不同的车辆部件甚至背景。传统的基于条纹的方法,如基于部件的卷积基线(PCB)[4],无法充分适应这种视角相关的位移,因为它们假设空间对齐大致一致。边界框不准确和部分遮挡进一步加剧了这个问题,可能导致结构上无关的区域在不同图像之间进行比较。同时,许多车辆共享几乎相同的全局特征,如颜色、车身类型和型号,这使得少量的局部结构差异对于区分特别困难的身份变得至关重要。这些车辆特定的特征因此促使了对自适应局部区域建模的需求,以减少对固定空间划分的依赖,以及对难度感知优化的需求,即对视觉上不明确的样本给予更多关注。
更重要的是,在度量学习领域,现有的优化目标难以处理高度模糊的困难样本。标准三元组损失及其变体(如TriHard)在所有类别中使用固定的、统一的间隔。然而,由于车辆再识别数据集的不平衡性,区分一辆罕见的卡车在本质上比区分数百辆常见的白色轿车要容易得多。固定间隔的方法可能导致在简单类别上过拟合和在困难类别(外观相同的车辆)上过拟合。虽然最近提出的概率方法试图通过建模方差和不确定性来解决这个问题,但额外的数学复杂性为大规模嵌入空间造成了显著瓶颈。
为了系统性地克服这些局限性,我们提出了一个新颖的、端到端可训练的框架,名为多细节融合与自适应硬挖掘再识别网络(MDF-ReIDNet)。利用基础模型鲁棒的、以对象为中心的表示,我们明确放弃了脆弱的空间条纹划分,转而采用动态部件提案网络(DPPN)。结合RoIAlign,DPPN提取输入自适应的局部区域,能够捕捉判别性结构证据,同时减少对刚性空间划分的依赖。这些局部几何区域随后由细节融合加权(DFW)模块进行细化,该模块捕捉各种车辆组件之间的长程语义关系,从而使网络能够理解全局结构拓扑。此外,为了缓解固定间隔目标的停滞问题,我们引入了混合硬三元组损失(HHTL)。与采用静态惩罚不同,HHTL构成了一种确定性的、类别感知的度量学习策略。在训练过程中,它动态分析类间相似度矩阵以识别视觉上模糊的聚类,例如同型号且颜色相同的车辆。然后应用自适应的几何惩罚间隔,迫使网络在嵌入空间中将具有挑战性的样本明显区分开来,而在推理过程中不产生额外的计算开销。本文的主要贡献总结如下:
- •
我们提出了MDF-ReIDNet,一种新颖的架构,整合了基础模型特征与专门的DPPN和DFW组件,以生成输入自适应的局部表示,并减少对基于刚性条纹划分的空间错位敏感性。
- •
我们提出了混合硬三元组损失,一种动态度量学习框架,旨在克服固定间隔方法的缺点。HHTL根据每个类别的难度自适应调整惩罚间隔,并对高度模糊的集合施加更紧的约束。这显著提高了特征可分离性。
- •
在大规模VeRi-776、VehicleID和VeRi-Wild基准数据集上进行的广泛实验表明,MDF-ReIDNet提供了增强的鲁棒性和可扩展性,特别是在需要细粒度拓扑分离的无限制环境中。
章节摘要
相关工作
车辆再识别旨在学习具有判别力的表示,即使存在视角、光照、尺度、遮挡和背景的显著变化也能保持判别力。现有方法大致可分为三个互补方向:全局表示学习、基于部件的局部建模和基于度量学习的优化。尽管这些方向显著提高了车辆再识别性能,但每个方向仅解决了细粒度带来的部分困难
方法论
所提出的MDF-ReIDNet旨在通过整合全局语义描述符和动态局部部件表示来解决细粒度的类内歧义。与依赖静态空间先验的传统架构不同,我们的框架利用自监督基础模型来提取拓扑鲁棒的特征。
特征提取构成车辆再识别的基石。虽然传统CNN存在受限的感受野,但标准的监督ViT需要大量的
实验
我们在三个广泛使用的车辆再识别基准上评估了所提出的框架。VeRi-776 [18]包含约50,000张由20个不同摄像头拍摄的776辆车辆的图像,具有光照和透视的真实变化。训练集包含37,746张图像,测试集提供11,579张图像作为画廊。VehicleID [19]是一个包含221,763张图像的大规模数据集,对应26,267个车辆身份。按照标准评估协议,我们
讨论与局限性
在本研究中,我们提出了MDF-ReIDNet,一种整体方法,解决了车辆再识别系统的基本瓶颈(由于过度的类间相似性和视角差异导致的严重空间不一致性)。我们的实验结果一致验证了我们的架构框架,包括动态部件提取和自适应加权,从根本上提高了Resnet-50的性能。虽然标准的基于CNN的方法固有地表现出强烈的
结论
在本文中,我们提出了多细节融合与自适应硬挖掘再识别网络,从根本上解决了车辆再识别的持续挑战。通过将重点从特定的主干网络选择转向通用的表示范式,我们通过DPPN和DFW模块成功地利用了标签无关的几何特征。这使得架构能够在不依赖昂贵的
CRediT作者贡献声明
Hidayet Ergi?n:撰写 – 原稿,可视化,验证,软件,方法论,形式分析,数据整理。Ali Seydi Ke?eli?:撰写 – 审阅和编辑,验证,监督,资源,调查,资金获取。
利益冲突声明
作者声明他们没有任何已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本研究由土耳其哈恰泰佩大学科学研究项目协调中心支持,项目编号22355。
Hidayet Ergi?n|Ali Seydi Ke?eli?