CMF2A:基于文本的人脸重识别跨模态细粒度特征对齐算法
《Knowledge-Based Systems》:CMF2A: Cross-Modal Fine-grained Feature Alignment for text-based person re-identification
【字体:
大
中
小
】
时间:2026年07月18日
来源:Knowledge-Based Systems 8.0
编辑推荐:
•CMF2A通过细粒度特征对齐,实现可靠的基于文本的行人重识别。•FLFR可自主过滤背景噪声,提炼出关键的局部视觉特征。•MAL通过优化正负样本之间的距离,提升身份识别的稳定性。在CUHK-PEDES、ICFG-PEDES和RSTPReid这三大基准数据集上,该方法均取得了业界领
•CMF2A通过细粒度特征对齐,实现可靠的基于文本的行人重识别。•FLFR可自主过滤背景噪声,提炼出关键的局部视觉特征。•MAL通过优化正负样本之间的距离,提升身份识别的稳定性。在CUHK-PEDES、ICFG-PEDES和RSTPReid这三大基准数据集上,该方法均取得了业界领先的性能表现。
引言
基于文本的行人重识别(TReID)旨在根据自然语言描述检索对应的行人图像或视频片段[1][2]。它属于基于图像的行人重识别(ReID)任务的一个子任务[3][4]。由于具有跨模态特性,TReID能够应对视角变化和物体遮挡等挑战[5],同时还能解决语义上的差异与模糊性问题,从而支持更复杂、更精细的身份匹配任务。这一优势使得它在安全监控和智能交通等领域具有更广阔的应用前景,能够提供更为灵活的身份识别方案。
近年来,为了解决TReID中的各种难题,人们提出了许多先进的方法[2][6][7][8]。早期的TReID方法[9][10][11]通常为文本数据和图像数据分别设计特征提取模块:利用CNN[12][13]从行人图像中提取视觉特征,再使用RNN[14]或LSTM[15]从文本描述中提取语义特征。这样一来,每种模态的信息都被独立编码到各自的特征空间中,之后再通过特定的匹配策略或统一的嵌入空间来实现跨模态对比,从而实现行人图像与文本描述之间的精准匹配。虽然这种分离式设计简化了问题的复杂性,但同时也面临着如何有效弥合文本与图像之间语义差距的挑战。
鉴于预训练的视觉模型和语言模型具备出色的泛化能力,现代的文本-图像重识别方法[16][17]越来越多地依赖这些强大的预训练模型来获取更稳定、更丰富的特征表示。例如,利用在大规模图像数据集上预训练的ResNet[18]作为视觉特征提取器,即便没有大量的标注数据,也能很好地捕捉行人的外观特征;同样,预训练的语言模型BERT[19]则能够从文本描述中提取复杂的语义信息。不过,这些方法主要侧重于从图像和文本描述中提取全局特征,而忽视了局部细节的重要性。尽管这种方式在一定程度上实现了跨模态匹配,但由于忽略了诸如特定身体部位、衣物细节或局部语义信息等关键局部特征,因此在面对复杂场景时性能表现不佳。
最近,对比学习驱动的文本-图像预训练框架CLIP[20]取得了显著成果,其跨模态学习能力远远超过传统的单一模态架构方法。与那些方法不同,CLIP借助其预训练的多模态架构[21],能够同时理解图像及其对应的描述文本,从而为跨模态信息检索提供了一种更为高效且统一的解决方案。越来越多的研究[22][23][24]开始采用经过微调的CLIP模型来处理TReID任务。然而,原始的CLIP模型主要是为实例级特征表示而设计的,并不擅长提取细粒度或局部特征。对于那些需要重点关注衣物风格、颜色分布和身体部位等局部细节的任务来说,这种设计可能并不理想。为了解决CLIP在捕获细粒度信息方面的不足,本文提出了一种细粒度特征对齐方法。不过,引入细粒度特征信息也会增加计算负担,而且由于图像和文本描述中存在大量冗余信息,还可能引入噪声或掩盖关键特征。因此,为了提升TReID系统的性能,就有必要找到有效的策略来解决这些问题。如图1所示,我们展示了基于文本描述识别对应行人的全过程。通常情况下,行人的局部细节在匹配过程中起着至关重要的作用,如果只关注文本和图像的全局特征,那么在处理复杂细节时,系统的性能很可能会下降。
为确保概念上的清晰性与一致性,我们在文中明确给出了所有核心术语的定义。在此语境下,局部特征指的是从图像块或文本单词中提取出的词元级嵌入向量;细粒度则是指这些局部特征所捕捉到的具体语义化的视觉与文本线索,比如衣物风格、配饰以及相关的名词短语;隐性关系推理指的是一种通过结构上下文——具体而言是通过掩码语言建模——来推断跨模态对齐关系的机制,而非依赖于显式的边界框定位或语法解析层面的匹配;最后,多关联学习则指的是我们所采用的那种学习策略,它通过综合评估多个层面(全局与局部)以及多组样本对(正样本以及不同类型的负样本)之间的相似性,从而建立稳定的身份约束条件。为了解决上述挑战,如图2所示,我们提出了跨模态细粒度特征对齐方法CMF2A,用于挖掘TReID任务中的潜在细粒度特征。具体而言,我们的CMF2A首先会使用专门的CLIP编码器从图像和文本两种数据中提取特征表示,随后在每种模态内部进行细粒度特征挖掘,同时建立跨模态间的细粒度对应关系,从而引导模型去探索更详细的特征表示。首先,我们设计了一个名为细粒度局部特征精炼模块的组件,它的功能就是专门用于提取细粒度的局部特征。我们利用编码器中最后一个Transformer模块产生的自注意力映射图,识别出重要的特征,这样模型就能专注于特定的身体部位、衣物细节等信息。之后,我们会根据这些特征的重要性对它们进行排序,筛选出真正有助于身份识别的特征,进而剔除冗余信息。接着,我们会使用一个聚合模块,将这些提取出的局部特征整合成一个类似于全局特征的统一表示形式,这样它们就可以被输入到后续的模块中,进行进一步的特征对齐和分类处理。
虽然注意力机制、掩码语言建模以及三元组损失函数这类基础技术已经在一般的视觉-语言任务中被广泛研究,但将它们直接应用于TReID任务时,往往无法取得理想的性能。这主要是因为行人数据中存在着严重的背景噪声问题,而且同一类行人在数据集中的特征差异也很大。在这项工作中,我们并没有简单地将这些现有的模块堆叠在一起,而是对它们进行了针对性的调整和协同优化,以便更好地应对TReID任务所特有的挑战。我们把传统的注意力机制改造成了一个强大的特征筛选器——即FLFR模块,还将模态内的掩码语言建模功能重新利用为一种跨模态的结构对齐工具,同时还对三元组损失函数进行了定制,以此来稳定优化过程,从而构建出一个具有高度协同性的整体框架。
此外,我们还设计了一个隐性细粒度关系推理模块。该模块借助掩码语言建模技术,让模型能够利用注意力机制挖掘模态内的信息,同时通过跨模态的交叉注意力机制来探索不同模态之间的关系。掩码语言建模不仅提升了模型重建被掩码文本的能力,还起到了数据增强作用,进一步增加了学习的多样性。为了能够从不同角度学习这些提取出的特征,我们设计了多关联学习模块,让模型能够更全面地理解跨模态信息。具体来说,我们提出了一种混合三元组损失函数,该函数能够让模型以一定的比例同时关注所有的负样本对,从而在训练初期就能快速学习到具有高相似度的全球特征和局部特征。与此同时,多关联学习模块还通过整合身份损失函数,提升了模型的分类能力,确保所学的特征不仅具备良好的区分度,而且在不同模态之间也能保持高度的一致性,进而提升了TReID任务的总体性能。我们的主要贡献可总结如下:
• 我们将三个经过针对性设计的模块——FLFR、跨模态掩码语言建模以及多关联学习——整合到一个协同工作的框架之中。与那些依赖外部解析器的传统方法不同,我们的方法能够自主过滤背景噪声,并通过隐性方式推理结构对齐关系,从而在多种模态之间建立稳定的细粒度对应关系。
• 我们基于CLIP架构设计了一套高效的微调流程。通过在推理阶段分离出计算成本较高的跨模态交互编码器,我们的模型在保持高检索精度和强鲁棒性的同时,还能降低部署成本,比如减少推理延迟并降低内存占用。
• 在CUHK-PEDES、ICFG-PEDES和RSTPReid这三组公开发布的基准数据集上进行的大量实验表明,CMF2A方法能够实现业界领先的检索性能。这些结果充分证明了我们的细粒度特征对齐策略以及多关联学习方法的有效性。
本文的其余部分结构如下:第2节介绍相关研究工作,第3节阐述CMF2A方法的整体框架与实现方式,第4节报告实验结果及分析,最后第5节对全文进行总结。
相关片段
基于文本的行人重识别
基于文本的行人重识别(TReID)是一项极具挑战性的任务,其目标是将自然语言描述与行人图像对应起来。这项任务由李等人[1]首次提出,也正是由于它的出现,才有了CUHK-PEDES数据集的诞生。该任务的核心目标是在一个联合嵌入空间中,高效且准确地匹配图像特征与文本特征,从而在各种复杂场景下实现可靠的行人识别。
方法
在本节中,我们将详细介绍所提出的CMF2A方法。如图2所示,我们的框架是按照一定的逻辑流程运行的。CMF2A框架的整体训练流程如算法1所示。首先,第3.1节介绍了如何使用文本编码器和图像编码器来提取全局特征和局部特征。其次,为了解决背景噪声的问题,第3.2节介绍了细粒度局部特征精炼模块,该模块用于提取……
实验设置与数据集
我们在三种常用的基于文本的行人搜索基准数据集上测试了我们提出的方法,分别是CUHK-PEDES[1]、ICFG-PEDES[30]和RSTPReid[47]。CUHK-PEDES是首个专为TReID任务设计的大规模行人图像-文本数据集,其中包含了40,206张行人图像以及80,412段描述文本,涵盖了13,003个不同的行人身份。每张图像都对应着一段或多段描述,平均每段描述的字数约为15.7个字。训练集还包括……
结论
在本文中,我们提出了一种跨模态细粒度特征对齐方法——CMF2A。该方法旨在探索并实现对文本与图像之间细粒度特征的匹配。为了解锁有价值的局部特征,我们设计了FLFR模块,它通过全局特征与局部特征之间的细粒度相互作用,增强了模态内的区分度,从而减少了全局特征表示中的冗余信息。同时,我们还设计了掩码语言建模模块,该模块通过掩码语言建模的方式实现隐性关系推理……
作者贡献声明
张成芳:负责文章的撰写、审阅与编辑工作,同时承担项目监督、项目管理以及资金申请等工作。林庆峰:负责文章初稿的撰写以及相关软件的开发工作。冯子良:负责结果的可视化处理以及相关研究分析工作。
利益冲突声明
作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。
致谢
本项工作得到了四川省科技计划项目(2024NSFSC2046)、四川省智能警务重点实验室项目(ZNJW2025KFZD001)以及泸州市科技计划项目(2025JYJ049)的支持。
张成芳|林庆峰|冯子良
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号