《Information Fusion》:Attention-driven Contrastive Learning for Cross-Modal Hashing with Prototypical Separation
编辑推荐:
跨模态哈希检索中,现有方法常因无法有效捕捉异构数据间的语义结构和模态交互而受限。本文提出ACoPSe框架,通过模态感知的融合损失增强跨模态特征交互,并利用K-means聚类生成伪标签,结合原型对齐策略优化哈希编码。实验表明该方法在MIRFlickr-25K和NUS-WIDE数据集上性能显著优于基线模型,有效解决了异构数据分布差异和缺乏监督信号的问题。
Zhipeng He|Wenzhe Liu|Lian Wu|Jinrong Cui|Jie Wen
华南农业大学数学与信息学院,广州,510642,中国
摘要
由于多媒体数据的指数级增长,异构数据的有效检索和结构化变得越来越困难。数据量的激增凸显了高效跨模态哈希技术的重要性,这些技术以其快速的检索速度和最小的存储需求而受到关注。然而,现有的无监督跨模态哈希方法往往无法捕捉潜在的语义结构和有意义的模态交互,这限制了它们的检索性能。为了解决这些问题,我们提出了基于原型分离的注意力驱动的跨模态哈希对比学习(ACoPSe)方法。该方法引入了一种模态感知的融合机制来增强跨模态特征交互,并通过利用聚类得到的伪标签在簇级别减少异构性。广泛的实验表明,我们的方法达到了与最先进方法相当的性能。
引言
在当今数据量庞大的背景下,跨不同模态的信息整合和检索面临着重大挑战。随着多媒体数据的迅速增长,对高效跨模态检索系统的需求显著增加。跨模态哈希[1]、[2]、[3]作为一种有前景的解决方案应运而生,它旨在将不同模态的异构数据映射到一个共同的汉明空间中,在该空间中可以使用紧凑的二进制代码高效计算数据实例之间的相似性。这种技术促进了快速的跨模态搜索,提高了多样化的多模态匹配任务的效率。
跨模态哈希技术[4]、[5]、[6]的发展通常分为两大类:监督学习和无监督学习。监督方法[7]、[8]、[9]利用标记数据来学习有效的哈希函数,实现了令人印象深刻的检索精度。然而,这些方法需要大量的人工注释工作,且对标记数据的依赖性限制了其可扩展性。另一方面,无监督跨模态哈希因其能够利用未标记数据而受到青睐,这减少了对手动注释的依赖,并为跨不同模态的可扩展检索铺平了道路。
无监督跨模态哈希技术[10]、[11]面临诸多挑战,主要涉及异构性差异的缓解和缺乏监督信号的问题。(1) 有效缓解异构性差异是一个重大障碍。多模态数据集通常在不同的模态之间表现出不同的结构配置、分布特性和语义解释。在这些模态之间实现一致性并有效提取跨模态关联是一项非平凡的任务,需要精细的方法来跨越语义鸿沟并促进不同数据模态之间的有意义交互。(2) 缺乏监督指导使得无监督跨模态哈的学习过程变得复杂。与利用标记数据进行训练的监督方法不同,无监督方法必须完全依赖数据内部的结构和关系。缺乏明确的监督使得模型训练难以有效进行。
近年来,在无监督哈希领域取得了显著进展。这些方法包括图正则化[12]、[13]、矩阵分解[14]、[15]和深度学习[16]、[17],它们试图在保持相关性的同时将异构数据转换为共享的汉明空间。由于深度神经网络在特征提取方面的强大能力,深度学习方法表现出了出色的性能。然而,尽管取得了里程碑式的成功,但仍有一些问题尚未得到妥善解决,这限制了它们的性能:(1) 对跨模态交互的探索不足可能会限制对模态间相关性的探索。增加异构数据之间的互动性有助于模型更深入地理解多模态数据的内部和模态间关系,这对跨模态检索具有重要意义。(2) 对监督信息的探索和利用不足,在充分处理不同数据模态之间的固有异构性方面存在重大挑战。获取有指导意义的监督信号并有效利用该信号来指导模型学习和优化是一个值得考虑的相关问题。
为了解决上述问题,我们提出了一个名为基于原型分离的注意力驱动的跨模态哈希对比学习(ACoPSe)的框架,如图1所示。具体来说,我们提出了一种模态感知的融合损失和跨模态自注意力机制来增强不同模态之间的交互。为了获得有指导意义的监督信号,我们使用K-means聚类[18]、[19]、[20]对跨模态融合特征进行伪标签生成。利用这些获得的监督信号,我们为每种模态计算出一组独特的原型。随后,我们引入了跨模态原型损失,该损失使具有相同伪标签的原型对齐,同时分离属于不同类别的原型。以下是我们方法的主要贡献:
- 1)
我们利用自注意力机制来探索跨模态相关性,并通过引入模态感知的融合损失来改善不同数据源之间的交互。
- 2)
我们使用聚类来获取伪标签作为监督信号以获得原型,并提出跨模态原型损失来对齐和分离异构数据原型,从而在簇级别减少异构性差异。
- 3)
广泛的实验表明,我们提出的ACoPSe在跨模态检索中表现出出色的性能。
相关文献概述
相关工作
我们简要总结了相关跨模态哈希文献的工作,将其分为两大类:监督方法和无监督方法。监督技术利用语义标签来指导学习过程。无监督方法则巧妙地探索数据的内在结构,无需显式标注,采用策略来捕捉不同数据模态之间的潜在关系。
符号和问题定义
为了澄清我们的论述,我们介绍了所使用的符号。大写字母表示矩阵,例如。向量用小写字母表示,例如a,矩阵的第i行向量表示为Ai。FC(?·?)表示全连接层。‖?·?‖F表示矩阵的弗罗贝尼乌斯范数。为了简化说明,我们使用视觉和文本模态的例子来说明我们的方法,这与许多现有方法的实践类似。
假设我们有对图像-文本
实验
在这段中,我们评估了各种方法在两个常用的跨模态检索基准数据集MIRFlickr-25K [49]和NUS-WIDE [50]上的有效性。我们通过与现有方法进行比较测试来验证我们方法的改进效果。我们还设计了额外的实验来支持所提方法的有效性,包括消融研究和参数敏感性分析。
结论
在这项工作中,我们提出了基于原型分离的注意力驱动的跨模态哈希对比学习(ACoPSe)框架,这是一个无监督框架,旨在学习紧凑且语义一致的哈希码以实现高效的跨模态检索。该框架使用跨模态编码器来增强模态之间的交互,并基于伪标签的原型对齐策略来捕捉潜在的语义结构并减少模态差异。实验结果表明...
CRediT作者贡献声明
Zhipeng He:撰写 – 审稿与编辑,撰写 – 原始草稿,软件开发,方法论研究,形式分析,概念化。Wenzhe Liu:撰写 – 审稿与编辑,撰写 – 原始草稿,研究,概念化。Lian Wu:撰写 – 审稿与编辑,验证,形式分析,概念化。Jinrong Cui:监督,资源管理,项目资助。Jie Wen:撰写 – 审稿与编辑,验证,监督,资源管理,项目协调
利益冲突声明
作者声明以下可能的财务利益/个人关系可能被视为潜在的利益冲突:Jie Wen报告称获得了中国国家自然科学基金会的财务支持。如果还有其他作者,他们声明没有已知的财务利益或个人关系可能影响本文所述的工作。
Zhipeng He获得了华南农业大学的计算机科学硕士学位。他的研究兴趣包括跨模态检索和深度学习。