SFTINet:面向多模态目标重识别的空间-频率令牌交互网络

《Electronics》:SFTINet: Spatial–Frequency Token Interaction for Multi-Modal Object Re-ID

【字体: 大 中 小 】 时间:2026年09月27日 来源:Electronics 2.9

编辑推荐:

  单模态目标重识别(Object Re-identification, Re-ID)在复杂动态场景条件下经常遭受性能退化。虽然多模态目标重识别利用跨不同模态的互补信息来缓解该问题,但现有方法仍然高度易受无关背景干扰的影响。为解决这些挑战,研究人员提出了用于目标重

  
单模态目标重识别(Object Re-identification, Re-ID)在复杂动态场景条件下经常遭受性能退化。虽然多模态目标重识别利用跨不同模态的互补信息来缓解该问题,但现有方法仍然高度易受无关背景干扰的影响。为解决这些挑战,研究人员提出了用于目标重识别的空间-频率令牌交互网络(Spatial-Frequency Token Interaction Network, SFTINet)。具体而言,SFTINet利用视觉变换器(Vision Transformer, ViT)提取多模态令牌,随后由空间-频率令牌交互模块(Spatial-Frequency Token Interaction Module)处理。该模块在空间域捕获细粒度局部细节,同时在频率域编码全局结构信息,从而增强多模态细粒度表示能力。动态令牌交互机制通过注意力进一步调节跨模态信息流,促进RGB、近红外(Near-Infrared, NIR)和热红外(Thermal Infrared, TIR)特征的深度融合。此外,重建损失模块(Reconstruction Loss Module)通过令牌级约束最小化模态间的分布差异,令牌掩码生成模块(Token Mask Generation Module)通过策略性地掩蔽关键令牌来鼓励前景中心化学习。通过无缝整合空间-频率交互与令牌级掩蔽,SFTINet有效抑制了背景干扰,同时保留了跨模态互补信息。实验结果表明,SFTINet在多模态基准上取得了具有竞争力的性能,验证了其在鲁棒跨模态特征融合和细粒度语义建模方面的有效性。
**研究背景与现存问题**

目标重识别(Object Re-identification, Re-ID)旨在跨不重叠的摄像机视角对特定目标(如行人或车辆)进行匹配与检索。随着Re-ID任务的发展,依赖单模态输入的传统方法面临显著局限:在极端光照条件下,目标特定细节容易衰减,导致识别精度严重下降。为此,近年来的研究方法逐渐转向多模态框架,利用不同模态间的互补信息来增强特征鲁棒性。然而,现有方法仍存在两个关键局限:其一,与单模态图像相比,多模态输入引入了更复杂的背景干扰,在挑战性Re-ID场景中尤为突出;其二,模态间固有的信息差异使得多模态特征难以在语义上对齐,阻碍了判别性表示的稳健提取。此外,现有基于置换的令牌交互方法仅在空间域内操作,将令牌视为空间实体并依据空间亲和度交换信息,无法显式解决模态间固有的频谱分布差异——RGB图像以高频纹理分量为主导,而NIR/TIR图像主要编码低频结构信息,这种差异本质上是频谱性的。

**研究内容与意义**

针对上述挑战,研究人员提出了空间-频率令牌交互网络(Spatial-Frequency Token Interaction Network, SFTINet)。该网络通过空间-频率双轨交互框架、令牌级重建约束与显著性驱动的令牌掩码机制,实现了跨模态特征的深度对齐与背景干扰的有效抑制。在RGBNT201行人数据集上,SFTINet以67.4% mAP和71.5% Rank-1精度取得最优性能;在RGBNT100和MSVR310车辆数据集上也展现出强竞争力。该工作验证了将空间对齐与频谱对齐解耦在多模态特征融合中的有效性,为复杂场景下的鲁棒目标重识别提供了新的技术路径。

**关键技术方法**

主要技术方法包括:(1)基于ViT的多模态特征提取:采用三个独立的ImageNet预训练ViT主干分别编码RGB、NIR和TIR图像;(2)空间-频率双轨令牌交互:空间分支通过多头交叉注意力(Multi-Head Cross-Attention, MHCA)实现跨模态令牌置换;频率分支通过二维Haar小波变换将特征分解为低频近似与高频细节分量,分别进行令牌循环交互后经通道级余弦相似度自适应融合两分支;(3)重建损失模块(Reconstruction Loss Module, RLM):通过Transformer重建块实现模态间令牌级重建,以均方误差(Mean Squared Error, MSE)和相似性约束构成重建损失;(4)令牌掩码生成模块(Token Mask Generation Module, TSM):经独立聚合与协同聚合两阶段,依据特征显著性选择关键令牌并抑制背景。实验在RGBNT201、RGBNT100和MSVR310三个公开基准上进行。

**研究结果**

**行人重识别对比结果**:在RGBNT201数据集上,多模态方法一致优于单模态方法,验证了跨模态互补信息融合的显著价值。SFTINet以67.4% mAP和71.5% Rank-1精度超越所有对比方法,相比强基线EDITOR在Rank-1精度上提升尤为明显,表明空间-频率令牌交互机制能更有效地利用跨模态互补信息,实现高效特征融合与鲁棒语义对齐。

**车辆重识别对比结果**:在RGBNT100数据集上,SFTINet以77.5% mAP和94.2% Rank-1精度排名第二,紧追最优方法EDITOR(A)(79.2% mAP和94.3% Rank-1),接近最优的性能验证了空间-频率令牌交互在融合可见光与热红外光谱方面的有效性。在MSVR310数据集上,SFTINet在Rank-5精度上超越多个对比方法,表明其能够从较大候选集中准确检索正确车辆身份,这对实际Re-ID应用至关重要。

**可视化分析**:检索可视化显示,以NIR、RGB和TIR为查询模态时,top-5检索结果在目标姿态和结构轮廓上与查询样本高度一致,展现模型强跨模态特征匹配能力。t-SNE特征分布可视化表明,朴素多模态拼接导致同一身份的特征点分散、类间边界模糊且重叠严重;而结合TIM与RLM的特征分布呈现紧凑的类内聚集、清晰的类间距离边界,且不同模态标记在同一身份簇内良好混合,验证了空间-频率交互与重建约束的协同效应。

**消融研究**:以TOP-ReID为基线在RGBNT201上进行消融实验,单独引入TIM、TSM或RLM均能提升所有指标,其中TIM带来的提升最为显著;两两组合配置一致优于任一单模块配置,展现强协同效应;三个模块全部集成时SFTINet在所有评估指标上取得最优结果,证实了各模块在多模态重识别中的互补作用。

**结论**

研究人员在结论中指出,SFTINet专为克服单模态方法的固有局限并主动抑制背景干扰而设计。该框架利用视觉变换器提取多模态令牌,通过空间-频率令牌交互模块(TIM)同时捕获局部空间细节与全局频域特征。通过提出空间-频率双轨交互理论并实例化为SFTINet,研究证明了将空间对齐与频谱对齐解耦能够增强跨模态特征融合。重建损失模块(RLM)通过令牌级约束缓解模态间分布差距,令牌掩码生成模块(TSM)则将模型注意力导向目标相关区域。通过无缝整合空间-频率交互与令牌级掩蔽,SFTINet有效抑制背景干扰同时保留跨模态互补信息。在多模态基准上的广泛实验验证了其在跨模态融合和细粒度语义建模方面的优越性。未来工作将探索更具计算效率的令牌交互策略,并将框架扩展至开放集重识别(open-set Re-ID)和动态模态缺失场景。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号