深度合成代理哈希技术在多标签跨模态检索中的应用

《Neurocomputing》:Deep synthetic-proxy hashing for multi-label cross-modal retrieval

【字体: 大 中 小 】 时间:2026年01月04日 来源:Neurocomputing 6.5

编辑推荐:

  跨模态哈希检索中,传统代理方法因过严的类间决策边界导致语义关联建模不足。本文提出DSpH框架,通过合成嵌入空间引入中间类,并设计合成代理机制,有效整合异质数据间的潜在语义关系,提升哈希码的语义一致性与检索性能。在四个基准数据集上的实验表明DSpH显著优于现有方法。

  
李坤|秦启兵|侯金奎|张文峰|陈春雷|黄雷
中国潍坊大学计算机工程学院

摘要

深度哈希技术具有高检索效率和低存储成本,适用于跨模态检索。为了确保内容相似的异构数据生成相似的哈希码,成对语义哈希或基于代理的哈希方法通常会在两个不同类别之间提供严格的决策边界。然而,这种严格的决策边界可能导致对潜在表示的考虑不足,而这些潜在表示与属于不同类别的语义特征紧密相关,从而生成不完整和低质量的哈希码。在本文中,通过将合成机制引入深度跨模态多标签哈希检索中,提出了深度合成代理哈希框架(DSpH),以充分考虑类别间的关系,保持哈希码的语义一致性和完整性。具体来说,通过在两个原始类别之间生成一个合成嵌入空间,设计了一个新的合成类别作为额外的训练信号,深入探索类别间的语义关系。同时,提出合成代理作为新合成类别的表示,可以将其插入任何基于代理的损失函数中,且计算成本几乎可以忽略不计,从而生成包含哈希码的平滑决策边界。我们在四个基准多标签数据集上进行了广泛实验,结果表明DSpH的性能优于其他最先进的跨模态哈希检索方法。代码位于 https://github.com/Lisa-Likun/DSpH。

引言

随着多媒体数据的爆炸性增长,高效的多标签跨模态检索成为一个不可避免的挑战[1]、[2]、[3]、[4]、[5]、[6]。传统检索方法难以在高计算成本的情况下弥合不同模态之间的语义差距[7]。为了解决这个问题,研究人员更加关注哈希方法,因为它们具有低存储成本和快速搜索的特点。跨模态哈希方法可以将高维空间中的数据映射到紧凑的二进制哈希码中,从而保留语义特征,并大大降低计算成本,提高检索效率[8]、[9]、[10]、[11]、[12]。例如,基于核变换学习的哈希方法通过核变换将原始数据投影到稀疏的哈希空间中[13];基于字典学习的哈希方法将数据从字典空间映射到低维汉明空间[14]、[15]。与这些两阶段框架不同,基于深度神经网络的哈希方法通过端到端的范式自适应地学习哈希特征,在大规模跨模态检索场景中实现高效率。一般来说,基于深度神经网络的哈希通过两种方式学习代表性哈希码:成对语义哈希学习和基于代理的语义哈希学习。
成对语义哈希方法通常利用成对数据之间的相似性信息来生成紧凑的哈希码。然而,这种局部受限的学习范式往往导致效率不佳,无法捕捉全面的语义关联。为了解决这个问题,引入了基于代理的哈希方法。在嵌入空间中,提出一个代理作为表示,损失函数只需关注锚点数据与代理之间的距离,而无需计算与其他所有样本的损失。这样,基于代理的方法降低了训练复杂性,因为只需考虑数据到代理的关系[16]。在基于代理的方法中,嵌入空间旨在最小化锚点示例与正代理之间的距离,并尽量避免负代理,从而生成严格的决策边界。然而,这种生成的严格边界可能导致模型训练过程中的过拟合问题,由于忽略了隐含关系,从而导致类别间关系信息的丢失。此外,这些严格的决策边界不利于保持生成哈希码的语义一致性和完整性。
如图1所示,传统的基于代理的哈希方法为共享哈希嵌入空间中的每个语义类别计算一个独立的代理向量。这种范式旨在在类别之间建立明确的决策边界(如图1b中的白色边界所示)。然而,这种刚性的边界可能在模型训练过程中导致过拟合[17]。关键的是,这种方法本质上缺乏建模相对类别间关系的能力,而这种能力被认为是通过捕获隐含的语义关联来提高检索性能的重要因素。
为了解决这一限制,提出的深度合成代理哈希(DSpH)合成了位于两个目标类别之间的嵌入向量,有效地模拟了一个新的、插值的“类别”(如图1c中白色虚线区域内的哈希特征所示)。随后,为这个合成嵌入空间计算一个专用的代理向量。DSpH的关键优势在于训练过程中使用了这种辅助的合成代理。通过明确结合和规范这些中间表示,该框架全面考虑了原始类别之间的内在关系。这一过程自然促进了更平滑、更具泛化能力的决策边界的学习[18]。因此,如图1(d)与图1(b)相比,不同类别的哈希特征在嵌入空间中得到了更有效的聚合,从而提高了检索能力。具体来说,我们提出的DSpH框架包含两个组成部分:(1)在任意两个相邻类别之间生成的合成嵌入空间,以探索类别间的语义关系;(2)设计的合成代理损失函数,以对齐哈希码,从而保持类别间和类别内的语义一致性。在本文中,我们的主要贡献如下:
  • •
    首先,通过将合成策略引入深度哈希多标签跨模态检索中,DSpH框架合成了一个表示新类别的稳健嵌入空间,用于类别间语义训练信号。
  • •
    其次,提出合成代理作为新合成类别的表示,可以将其插入任何基于代理的损失函数中,且计算成本几乎可以忽略不计。新合成类别的参与有助于生成平滑的决策边界,从而生成包含类别间关系的语义哈希码。
  • •
    最后,在四个基准数据集(MIRFLICKR25K、NUS-WIDE、MS COCO和IAPR TC-12)上进行的广泛实验证明了所提出的DSpH框架的有效性。结果表明,DSpH在深度跨模态哈希检索中达到了最先进的性能。
  • 本文的其余部分组织如下。第2节简要回顾了其他研究人员的几项典型相关工作。第3节详细描述了所提出的跨模态检索框架。第4节我们在公共数据集上进行了广泛实验,以证明我们提出方法的效率。最后,第5节总结了本文并提出了未来研究的方向。

    部分片段

    相关工作

    哈希检索方法在检索应用中受到了广泛关注[19]。跨模态哈希检索方法旨在通过学习哈希函数,将来自不同模态的高维数据映射到共享空间中。映射过程可以确保语义相似的数据点之间的汉明距离小于语义不相似的数据点之间的距离。在本节中,我们简要介绍了关于基于代理的跨模态哈希的相关工作

    符号说明

    本工作的重点是研究如何提高多标签跨模态检索的性能。我们将一组图像 I={i1, i2, …, iN} 和一组文本 T={t1, t2, …, tN} 视为两个模态数据集。I 和 T 中的样本分别用 L={l1, l2, …, lk} 标记。DSpH使用变换器网络学习图像模态下的映射 Fθ:I→FθE,其中 e∈RD 和 D 表示特征嵌入空间的维度。文本模态也是如此。在跨模态哈希学习中,判别性哈希

    实验

    为了证明所提出的DSpH框架的有效性,我们在四个公共多标签数据集上进行了系列实验:MIRFLICKR-25K、NUS-WIDE、MS COCO和IAPR TC-12。此外,我们介绍了实验的数据集并解释了DSpH的实现细节

    结论与未来工作

    在本文中,我们提出了一种名为深度合成代理哈希(Deep Synthetic-proxy Hashing,简称DSpH)的新框架,用于多标签跨模态检索。通过将合成机制引入深度模型,DSpH探索了类别间的关系,以保持生成哈希码的语义一致性和完整性。通过合成一个稳健的嵌入空间作为两个相邻类别之间的中间类别,有效地保留了跨类别的语义训练信号。此外,合成代理

    CRediT作者贡献声明

    李坤:撰写——原始草案,资源整理。秦启兵:资金获取,形式分析。侯金奎:数据整理。张文峰:监督。陈春雷:撰写——审稿与编辑。黄雷:撰写——审稿与编辑。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

    致谢

    本工作得到了中国国家自然科学基金(编号62302338)、山东省自然科学基金(编号ZR2022QF046、ZR2023MF033、ZR2021MF085)、重庆市自然科学基金(编号2023NSCQMSX1645)以及重庆市教委科学技术研究计划(编号KJQN202200551)和潍坊大学博士研究基金(编号2023BS46)的支持。
    李坤是潍坊大学的讲师。她在中国曲阜大学获得了信息技术与通信专业的学士学位,在辽宁工程技术大学获得了硕士学位,在韩国东西大学获得了计算机工程专业的博士学位。她的研究兴趣包括机器学习和跨模态哈希检索。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号