PATrack:基于提示与适配器的红外-可见光图像动态融合目标跟踪技术
《Optics & Laser Technology》:PATrack: Infrared–visible image dynamic fusion with prompts and adapters for target tracking
【字体:
大
中
小
】
时间:2025年12月18日
来源:Optics & Laser Technology 4.6
编辑推荐:
王圣博|李云峰|邓磊|孙光凯|董明丽
中国北京100192,北京信息科技大学,教育部光电测量技术与仪器重点实验室
摘要
红外与可见光目标跟踪旨在融合可见光和红外两种模态的互补信息,以提高在恶劣环境下的跟踪性能。由于参数较少且性能更好,基于提示和适配器的参数微调方法受
王圣博|李云峰|邓磊|孙光凯|董明丽
中国北京100192,北京信息科技大学,教育部光电测量技术与仪器重点实验室
摘要
红外与可见光目标跟踪旨在融合可见光和红外两种模态的互补信息,以提高在恶劣环境下的跟踪性能。由于参数较少且性能更好,基于提示和适配器的参数微调方法受到了广泛关注。提示器在低级语义处理方面具有优势,而适配器则在高级语义处理方面表现优异。然而,以往研究忽视了二者之间的差异。此外,现有方法假设两种模态的重要性始终一致,因此在模态质量不平衡时难以进行动态调整。为解决这些问题,我们提出了一种基于提示和适配器的红外与可见光图像动态融合跟踪框架(PATrack)。该框架通过提示器增强低级特征,再利用适配器调整高级语义表示,从而实现低级与高级特征的有效互补,并促进深度跨模态交互。其中,融合提示器引导低级特征实现跨模态信息的动态互补融合,提升在模态较弱的区域的目标感知能力;动态适配器则增强模型对高级语义细节变化的敏感度,进而优化特征质量。大量实验表明,相较于其他微调策略,我们的方法在四个主流的可见光与红外跟踪基准测试中取得了更高的准确率。实验结果可访问以下链接:https://github.com/wwwshengbo/PATrack。
引言
可见光跟踪利用丰富的纹理和颜色特征,在光照良好且环境稳定的条件下表现出色。但在弱光或目标被遮挡的情况下,其跟踪能力有限。热红外跟踪则依靠目标的热辐射信息,在夜间或雾天等复杂环境中能够提供稳定的目标表征,但往往缺乏详细的纹理特征。因此,红外与可见光(RGBT)目标跟踪旨在结合这两种模态的优势。该方法从第一帧捕获的初始状态出发,能够在后续帧中精确估计目标的空间位置和尺度。这一技术在自动驾驶[1]、智能机器人[2]以及夜间监控[3]等领域具有广阔的应用前景。
红外与可见光目标跟踪的核心挑战在于实现高效的跨模态融合[4][5]以及特征交互。传统的目标跟踪方法[6][7][8]主要通过稀疏表示来融合两种模态的特征,以提高跟踪的鲁棒性。基于连体网络框架的方法[9][10][11]则采用端到端的方式实现高效跟踪。这类方法的融合策略通常依赖简单的加权或注意力机制,无法充分体现模态之间的深层交互,因此在面对大规模目标变化和光照干扰时适应性较差。
目前,基于Transformer的方法[12][13][14][15][16]具备了强大的全局建模能力,在模态交互和特征融合方面展现出显著优势。其中,基于参数调优的范式[12][13][14]有效推动了跟踪任务中的多模态深度融合。一些研究[17][18][19]利用提示器处理低级语义特征的优势,显著提升了跨模态特征融合的效果[20][21]。这些方法通常会冻结预训练的可见光图像骨干网络的权重,并采用单向提示策略,通过模态提示机制逐层将第二种模态的信息注入骨干网络。该机制利用全局特征的加权交互,在低级特征建模方面表现出较强的适应性,且能有效促进跨模态融合。但在处理高级语义时,易受背景噪声干扰,从而削弱跟踪性能。
与此同时,也有研究人员采用适配器范式[22][23][24]来增强跨模态特征交互。例如,曹等人[25]提出了一种通用适配器,能够自适应且高效地融合多模态信息。侯等人[15][26]则将适配器与掩码蒸馏或交叉注意力机制相结合,强化模板表示,利用互补信息在抑制背景干扰的同时提升目标建模效果。不过,这些方法通常依赖基于适配器的降维操作来提取抽象的高级语义表示。虽然这有助于建模语义关系,但过度的降维(如从768维降至8维[25])往往会削弱捕捉目标边缘细节和纹理轮廓等低级特征的能力。
总体而言,目前的红外与可见光目标跟踪方法通常单独使用提示器或适配器进行微调,往往忽视了它们在不同层次上的互补优势。这是因为提示器在处理低级语义特征方面虽有一定优势,但容易在高级语义中引入噪声;而适配器虽能提取更为紧凑的高级语义表示,但在降维后再升维的过程中可能会损失部分低级空间信息。此外,单向提示范式在模态质量不平衡时稳定性较差,因为单向的信息流限制了两种模态之间的互补性,进而削弱了跨模态交互效果。
基于以上分析,我们提出了基于提示和适配器的红外与可见光图像动态融合跟踪框架(PATrack)。该方法将融合提示器和动态适配器共同嵌入ViT骨干网络,充分利用不同层次特征的互补性,从而增强跨模态交互过程中的动态融合效果。具体而言,融合提示器采用镜像双分支架构,结合通道注意力和token注意力,能够从全局到局部以及从局部到全局的角度观察特征。在融合过程中,主导模态会利用可学习的权重自适应调整两个分支的贡献,从而更好地建模低级语义特征。此外,动态适配器包含线性投影和激活函数,能够动态调整各通道的响应程度。该模块仅部署在最后三层,以保持高级语义特征的稳定性,进而提升目标识别能力。总体而言,融合提示器有助于整合不同模态下的低级语义信息,从而更加关注目标边缘和纹理特征,提高初始目标表示的准确性。动态适配器则根据通道活跃度动态调整响应强度,优化高级语义信息,有效减少模态冲突带来的误差传播,提升跨模态特征表示的一致性。此外,我们在LasHeR测试集[27]上将所提出的PATrack与六种现有方法进行了对比分析,从性能和参数规模两方面进行了评估,结果如图1所示。
我们的主要贡献如下:
1. 我们提出了基于提示和适配器的红外与可见光图像动态融合跟踪框架(PATrack),该框架充分利用了两种模态在建模低级和高级语义特征方面的互补优势,提升了模态融合的多级语义协同建模能力。同时,当主导模态发生变化时,该框架能够自适应地提示并动态调整特征,确保跟踪的鲁棒性和稳定性。
2. 我们设计了融合提示器(FP)。它是一种平行镜像结构,能够有效促进不同模态之间低级语义特征的引导。在双分支融合过程中,引入了可学习的融合权重机制,动态调整每个分支的贡献,从而实现高质量的信息融合。
3. 我们构建了动态适配器(DA),它能为相应特征生成动态尺度,自适应调整特征图中各通道的重要性,从而提升表达高级语义信息的能力。大量实验结果表明,所提出的方法在四个公开数据集上均取得了最优性能。
章节节选
红外与可见光目标跟踪
红外与可见光目标跟踪是多模态视觉领域的一项关键任务,旨在在恶劣环境和弱光条件下实现高精度且稳定的目标跟踪。早期的红外与可见光跟踪器,如MDNet系列[31][32][33][34][68][72],通过在推理过程中微调全连接层来提升鲁棒性,但其较高的复杂度导致跟踪速度较低,限制了其实时应用能力。为提高效率……
概述
在本文中,我们提出了一种基于提示和适配器的红外与可见光图像动态融合跟踪框架(PATrack)。该框架的结构如图2所示。PATrack由Transformer编码器、融合提示器、动态适配器以及预测头组成,这些组件协同处理输入的token,以实现特征提取和模板搜索匹配。在每个Transformer块中,都包含了两个融合提示器,用于提取热红外和可见光信息……
实现细节
该模型在RTX4090D GPU上训练,批量大小为32,共训练15个周期,训练数据来自包含979个序列的LasHeR [27]训练集。骨干网络的初始学习率为6.9×10?5,经过10个周期后学习率降低10倍。每个训练周期处理60,000个样本,而评估则在包含10,000个验证样本的LasHeR [27]测试集上进行。模型采用AdamW优化器进行优化,权重衰减值为1×10?4。
结论
在本文中,我们提出了一种基于提示和适配器的红外与可见光图像动态融合跟踪框架。通过利用提示器和适配器在处理低级和高级特征方面的优势,该方法实现了不同层次特征之间的互补以及跨模态的动态融合。融合提示器增强了不同模态下低级语义特征的表征能力,同时充分利用了两种模态之间的差异……
CRediT作者贡献声明
王圣博:写作——审阅与编辑,写作——初稿撰写,验证,方法论,研究实施。李云峰:指导,资金获取。邓磊:指导,资金获取,形式化分析。孙光凯:指导。董明丽:指导,资金获取。
利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。
致谢
本研究得到了北京市自然科学基金项目(编号BJXZ2021-012–00046)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号