ViSA:具有双路径减法融合的亚二次跨模态注意力
《Knowledge-Based Systems》:ViSA: Subquadratic cross-modal attention with dual-path subtractive fusion
【字体:
大
中
小
】
时间:2026年09月30日
来源:Knowledge-Based Systems 8.0
编辑推荐:
我们提出了视频–文本交互式协同注意力机制(ViSA),以实现高效的视频–文本检索。ViSA整合了增强型线性注意力与双路径差分机制,以对抗特征平滑问题。在评估设置下,ViSA在四个公开基准数据集上取得了有竞争力的检索性能。与基于CLIP的强基线相比,ViSA减少了GFLOPs,
我们提出了视频–文本交互式协同注意力机制(ViSA),以实现高效的视频–文本检索。ViSA整合了增强型线性注意力与双路径差分机制,以对抗特征平滑问题。在评估设置下,ViSA在四个公开基准数据集上取得了有竞争力的检索性能。与基于CLIP的强基线相比,ViSA减少了GFLOPs,使得实际的大规模部署成为可能。
引言
数字平台上视频内容的快速增长改变了信息获取与分享的方式[1], [2]。这一趋势使得基于自然语言的视频检索在智能搜索[3]和内容推荐等应用中日益重要。视频–文本检索[4]聚焦于将视觉内容与文本查询进行匹配,并从大规模数据集中检索出最相关的视频。在实际系统中,用户通常通过简短的文本来描述场景、动作或事件,而模型需要识别出视觉内容与这些描述相匹配的视频。这种设定使得该任务具有挑战性,因为模型需要在连接动态视觉信息与语言的同时,保持足够的高效性以应对大型数据仓库。
现有的视频–文本检索工作通常只能提高准确性或效率其中之一[5], [6], [7]。为提高准确性而设计的方法通常使用细粒度对齐[8], [9], [10]、分层交互[11], [12]或大规模预训练[13], [14], [15]。这些方法通常实现了更好的语义匹配,但由于标准Softmax注意力随序列长度的计算复杂度为???(??2)[16],也引入了较高的计算成本。当视频帧和文本词元数量增加时,这种成本尤为显著,因为交互矩阵随序列长度迅速增长。相比之下,高效方法通常依赖于双塔架构[8], [14], [15]、模型压缩[16], [17], [18]或分解注意力[12], [19], [20]。尽管这些设计减少了计算量,但也削弱了语义交互并影响了检索准确性。因此,在视频–文本检索中平衡效率与准确性仍然是一个挑战。
我们提出了ViSA来解决这一问题。ViSA旨在降低跨模态交互的成本,同时保留检索所需的语义细节。首先,它将注意力机制重新表述为核化线性算子[18]。ViSA不使用随机特征,而是采用基于修正线性单元(ReLU)的确定性核,并配合一个可学习的聚焦因子。由于ReLU可以表示为max?(0, ??),它保留了非负响应并抑制负激活,这也有助于促进稀疏的特征表示。这些特性在实际应用中非常有用,因为它们使后续的交互更加稳定,同时保持轻量化的计算。这有助于提高计算效率,尽管线性化也可能平滑特征并削弱判别性语义。为了减少这种影响,ViSA引入了双路径减法融合层[21]。两条路径学习独立的注意力响应,它们的差值有助于抑制共享噪声,同时保留更具区分性的信号。以此方式,ViSA将线性注意力的效率与更强的语义判别能力相结合,用于视频–文本检索。
我们的主要贡献总结如下:
• 提出了ViSA,一个为高效且具有判别性的视频–文本检索而设计的跨模态交互模块。
• ViSA通过基于核的线性注意力与视频端预聚合克服了二次复杂度瓶颈,通过确定性核映射而非随机化近似实现了??(??)的线性缩放。
• 实验结果表明,ViSA在四个基准数据集上取得了有竞争力的检索准确性。在共享分析设置下,它将端到端成本从84 GFLOPs降至58 GFLOPs,同时相对于Softmax变体保持了强大的检索性能。
论文片段
对准确性的追求
早期的视频–文本检索系统主要依赖于视频片段与句子之间的全局匹配[22], [23], [24],这使得捕捉细粒度的跨模态对应关系变得困难。JSFusion [25]是早期超越简单全局匹配的方法之一,它通过分层建模跨模态相似度并在多个语义层次上结合视频和文本信息。此后,提高检索准确性的工作逐渐沿多个方向发展。
概述
给定一个视频??及其配对的标题??,我们的目标是学习一个联合嵌入空间,使得匹配的视频–文本对之间的距离较近,而不匹配的对之间的距离较远。如图1所示,我们采用了配备所提出ViSA的对比语言–图像预训练(CLIP)风格的双编码器架构。具体来说,视频????和标题????分别被编码为视觉和文本词元序列????,??∈?^(????×??_model)和????,??∈?^(????×??_model),其中????和????分别表示视觉和文本词元的数量。
实验
我们在四个常用基准数据集上评估了所提出的ViSA框架:MSR-VTT、LSMDC、DiDeMo和VATEX。我们报告了标准检索指标,包括Recall@K和中位排名(MdR)/平均排名(MnR),以及用于评估计算效率的GFLOPs。在本节中,我们首先介绍了数据集和评估协议,然后展示了主要结果(表1、表2、表3、表4),接着进行了消融研究(表7、表8、表9、表10)。
结论
我们通过重新审视注意力算子本身来解决视频–文本检索中长期存在的效率与准确性之间的紧张关系。我们提出了ViSA,它结合了基于核特征的线性注意力骨干与双路径差分机制。线性化公式实现了???(??)的线性复杂度,从而规避了标准注意力的二次???(??2)瓶颈,而差分路径则抑制了共模响应并缓解了特征平滑问题,从而增强了语义判别能力。
局限性
ViSA存在若干局限性。其线性复杂度优势对于长视觉序列最为相关;当只处理少数几帧或词元时,相对于二次注意力,实际效率提升会变得较小。此外,差分融合依赖于两条路径学习互补的响应。对于模糊的查询、细微的动作或包含多个相关事件的视频,减法可能会削弱有用的共享线索。最后,我们的实现均匀采样了16帧。
CRediT作者贡献声明
孙辉腾:论文撰写 – 原始草稿,软件。
蒋明:论文撰写 – 审阅与编辑,可视化,监督,资源,项目管理,方法论,调查,资助获取,形式分析,数据管理,概念化。
陆美琦:论文撰写 – 审阅与编辑,论文撰写 – 原始草稿,可视化,验证,资源,方法论,调查,形式分析,概念化。
利益冲突声明
作者声明他们没有已知的竞争经济利益或个人关系,这些关系可能已经影响或被视为影响本文所述的工作。
孙辉腾 | 蒋明 | 陆美琦
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号