《Neural Networks》:Object-guided Multi-granularity Unsupervised Hashing for Image Retrieval
编辑推荐:
本文提出基于目标检测的多粒度无监督哈希方法OMUH,通过预训练目标检测模型生成伪标签以增强相似性矩阵,并设计考虑图像内、跨图像及类别内相似性的多粒度损失函数,在三个基准数据集上显著优于现有方法。
刘子帆|曹远|徐雪|栾鹏|于彦伟
中国海洋大学,青岛市,266100,山东省,中国
摘要
由于存储成本低和搜索效率高,哈希技术在大规模图像检索中受到了广泛关注。然而,大多数无监督哈希方法都是根据余弦相似度来构建亲和矩阵的,这在测量图像之间的语义相似性方面表现较差。另一方面,基于对比学习的无监督哈希方法面临一个挑战,即如何有效地利用可能不平衡且易出错的正面和负面示例。在本文中,我们提出了一种新的基于目标检测的
对象引导的多粒度无监督哈希(OMUH)方法。首先,我们将预训练的目标检测模型应用于图像以生成它们的伪标签,这些伪标签有助于重建亲和矩阵,从而突出对象的角色。然后,我们根据伪标签扩增正面示例并净化负面示例以用于对比学习。最后,我们设计了一个多粒度目标函数,以考虑保留图像内部、图像之间和类别内部的相似性。在三个常见基准测试上的广泛实验表明,所提出的模型在准确率上一致优于现有的无监督哈希方法,最高提升了5.7%。我们的代码可在
https://github.com/caoyuan57/OMUH获取。
引言
图像检索是计算机视觉中的一个基本问题。哈希技术通过将高维图像特征编码为紧凑的二进制代码,在这一领域受到了广泛关注,这显著降低了存储和查询时间的复杂性。由于标记数据的成本非常高,无监督哈希(无需标签指导)吸引了更多的研究关注。
无监督哈希的文献可以分为基于相似性重建的方法(Li和van Gemert,2021年;Yang等人,2018年;Hu等人,2017年)和基于伪标签的方法(Zhang等人,2018年)以及基于自监督学习的方法(Jang和Cho,2021年;Wei等人,2024年)。基于相似性重建的方法利用预训练模型获取语义图像特征,并通过相似度度量(例如余弦相似度)构建亲和矩阵。基于伪标签的方法主要通过聚类生成伪标签,并以监督的方式训练哈希网络。然而,这两类方法无法区分可能包含背景干扰的图像,这可能导致相似度构建不准确。如图1所示,图像(a)和(b)都包含狗,而图像(c)包含猫。尽管图像(b)和(c)具有相似的背景,但它们在语义上有所不同。传统的余弦相似度无法反映这一点,它将(b, c)的相似度分配得比(a, b)更高。相比之下,基于对象引导的伪标签可以准确识别对象级别的语义,从而得出正确的相似度评估:(a, b)之间的相似度较高,而(b, c)之间的相似度较低。这表明,从对象检测中获得的伪标签可以有效抑制背景干扰并提高相似度估计的准确性。此外,基于自监督学习的方法主要关注如何设计正面和负面示例,通常将图像的增强视图作为正面示例,将同一批次中的其他所有图像作为负面示例。这种策略忽略了大量的潜在正面示例,并在负面示例的视角下引入了错误。此外,现有的无监督哈希方法缺乏挖掘多粒度相似性以指导哈希学习过程。
为了解决上述问题,我们提出了一种新的对象引导的多粒度无监督哈希(OMUH)方法。一方面,我们将图像输入到变换器编码器中以获取它们的深度语义特征。亲和矩阵是通过计算特征之间的成对余弦相似度来初始化的。另一方面,我们将图像输入到预训练的对象检测模型中以生成它们的伪标签。该对象检测模型根据识别的对象将图像投影到一些现有的类别中。为了生成对象级语义线索,我们使用预训练的对象检测模型生成伪标签。尽管检测器是在固定的类别集(例如MS-COCO中的80个类别)上训练的,但它提供了足够的语义粒度,以构建可靠的对象引导的亲和关系。由于我们的框架与检测器无关,因此可以轻松适应更广泛或定制的类别集,从而实现更多样化的检索场景。然后,我们考虑伪标签来重建亲和矩阵。最后,我们设计了考虑多粒度相似性的目标函数,包括三个层次的测量:图像内部相似性、图像间相似性和类别内部相似性。对于图像内部相似性,我们设计了重建损失,使图像及其变体相似。对于图像间相似性,我们设计了对比学习损失,使正面示例保持接近,负面示例保持远离。这两种类型的示例都是通过相对可靠的伪标签构建的。我们还设计了基于亲和矩阵的成对相似性保持损失。对于类别内部相似性,我们为每个伪标签分配一个唯一的哈达玛德哈希码,并设计了中心相似性损失,以使图像接近它们的哈希中心。此外,还设计了量化损失以减少量化误差。
主要贡献总结如下:
•我们学习了基于对象的伪标签,以突出图像中对象的语义角色,这有助于重新定义亲和矩阵中相似和不同的对。因此,我们扩增了正面示例并净化了负面示例,使对比学习更有效。
•同时考虑了多粒度相似性以挖掘图像的知识。构建了一个综合目标函数,包括重建损失、成对相似性损失、对比学习损失、中心相似性损失和量化损失,用于哈希学习。
•在三个常见数据集上的广泛实验表明,所提出的OMUH方法一致优于现有的最佳方法。
相关工作
相关工作
根据是否使用标签进行训练,基于哈希的图像检索方法大致可以分为有监督哈希(Cao等人,2018年;Xie等人,2020年)和无监督哈希(Guo等人,2023年;Meng等人,2024年;Zhang等人,2020年)。在本文中,我们将根据不同的学习策略对先进的无监督哈希方法进行分类和介绍(Luo等人,2023年)。总体框架
所提出的OMUH方法的总体框架如图2所示。在哈希学习模块中,一方面,我们将图像输入到变换器编码器中以获取深度特征,然后构建深度语义结构。另一方面,在变换器编码器后面添加了一个全连接层以获取它们的哈希特征。通过量化可以轻松获得哈希码。在预训练模块中,我们将图像输入到预训练的对象检测模块Faster-RCNN中
数据集
VOC2012 Everingham等人(2014年)包含11,540张图像,这些图像被分为20个类别。每张图像至少有一个标签。我们随机选择了1,000张图像作为测试集,4,000张图像作为训练集。剩余的图像用作检索集。
FLICKR25K Huiskes和Lew(2008年)包含25,000个图像实例,具有24个语义标签。从整个数据集中随机选择了5,000个实例,其中1,000个实例用作测试集
结论
我们提出了一种名为OMUH的新对象引导的多粒度无监督哈希模型。通过同时考虑深度语义结构和对象语义结构,我们构建了一个用于哈希学习的新亲和矩阵。在对比学习中,我们根据预训练的对象检测模型生成的伪标签构建了正面和负面示例。最后,我们利用多粒度相似性设计了一个目标函数进行训练
CRediT作者贡献声明
刘子帆:写作 – 审稿与编辑,验证,撰写原始草稿。曹远:方法论,撰写原始草稿,审稿与编辑。徐雪:可视化,验证。栾鹏:资源,数据管理。于彦伟:资金获取。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:曹远报告称获得了国家自然科学基金的财政支持。如果还有其他作者,他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。