探索高维球嵌入在图文检索中的应用
《Expert Systems with Applications》:Exploring High-dimensional Ball Embedding for Image-Text Retrieval
【字体:
大
中
小
】
时间:2026年09月28日
来源:Expert Systems with Applications 9.4
编辑推荐:
## 摘要
当前图文检索方法中使用的确定性单点嵌入仅关注标注的真实配对,忽略了查询应同时检索其他语义相似实例的一对多场景。尽管近期基于几何的嵌入方法为捕捉匹配多样性提供了方向性解决方案,但它们本质上依赖于跨模态的方向信息估计与对齐,这可能使其对旋转和视角变化敏感。此外,充分
## 摘要
当前图文检索方法中使用的确定性单点嵌入仅关注标注的真实配对,忽略了查询应同时检索其他语义相似实例的一对多场景。尽管近期基于几何的嵌入方法为捕捉匹配多样性提供了方向性解决方案,但它们本质上依赖于跨模态的方向信息估计与对齐,这可能使其对旋转和视角变化敏感。此外,充分挖掘一对多对应关系的能力仍然有限。受高维球的各向同性特性启发,我们提出了高维球嵌入(High-Dimensional Ball Embedding, HDBE),其中不同模态的每个实例被表示为一个高维球,并通过在球内采样点来有效建模一对多对应关系。具体而言,我们采用端到端方法同时学习高维球的中心坐标和半径,其中半径的大小反映了图像或文本的语义不确定性。在此基础上,我们在球内进行蒙特卡洛采样,以捕捉和表示视觉-文本语义的多样性。此外,我们引入了新颖的最大穿透深度损失来增强跨模态对齐。在CUB和MSCOCO两个标准基准上的大量实验表明,我们方法在多个评估指标上均具有有效性和优越性。代码公开于 https://anonymous.4open.science/r/HDBE-2025。
## 引言
图文检索已成为多模态学习中的基础任务,旨在度量图像与文本描述之间的语义相关性。该任务支持广泛的下游应用,如视觉语言导航 Chen et al. (2025a); Lin et al. (2025a); Wang et al. (2025a); Zheng et al. (2025)、视觉问答 Chowdhury & Soni (2025); Jia et al. (2025); Khan & Fu (2024); Lin et al. (2025b); Sun et al. (2025) 以及基于内容的多媒体检索 Mahbod, Saeidi, Hatamikia, & Woitek (2025); Pradhan & Nenavath (2025); Schoeffmann & Leopold (2025)。然而,弥合视觉和文本模态之间的异质性仍然本质上具有挑战性:图像通常包含丰富但模糊的信号(例如杂乱、遮挡、多样的物体配置),而文本描述往往简洁、离散且具有语义选择性。这些模态差异在一对多匹配场景中尤为显著,其中单个图像可能对应多个有效的文本解释,具有不同程度的具体性和抽象性,反之亦然。
尽管图文检索取得了重大进展 Feng, He, & Peng (2023); Huang, Nie, Wang, & Shang (2024); Huang et al. (2025); Li, Gao, Zhao, Li, & Chen (2025); Li, Zhang, Zhang, Zhang, Mao, 2024a, Li, Zhang, Zhang, Zhang, Mao, 2024b; Tian et al. (2025); Wang et al. (2023),一个关键挑战依然存在:如何构建一个统一的嵌入空间,以有效调和低级、纠缠的视觉内容与高级、稀疏的文本语义之间的语义鸿沟,尤其是在一对多对应关系下。这种困难源于多模态数据的固有不对称性:视觉信号是连续的、空间密集的且依赖于视角的,而语言则是符号化的、组合式的且本质上离散的 Baltru?aitis, Ahuja, & Morency (2018)。此外,视觉数据封装了详细的、依赖上下文的信息,如纹理、形状和空间关系,这些信息可能不直接对应文本表示更抽象和类别化的性质 Fang et al. (2024)。因此,如果不仔细建模这些差异,嵌入空间可能无法正确对齐图像中丰富、多样的信息与文本描述中通常稀疏和抽象的内容,导致不完整或不准确的语义映射。
在实践中,一对多对应关系反映了图像和文本之间的语义不确定性,这种不确定性源于人类理解和解释方式的固有差异 Qin, Li, Hao, Pang, & Wang (2023)。不同的人可能对同一图像有不同的感知方式,同样,同一文本也可能根据上下文传达多种解释 Ma et al. (2023)。语言的主体性和视觉内容的上下文依赖性进一步加剧了这种变异性。因此,建模这种语义不确定性变得至关重要,因为它使系统能够考虑图像和文本可以对齐的多种方式。值得注意的是,在表示学习中显式纳入这种不确定性不仅有助于缓解确定性嵌入的局限性,还能使检索模型更好地捕捉细粒度语义。
近期的研究探索了概率性和基于几何的嵌入 Chun, Oh, De Rezende, Kalantidis, & Larlus (2021); Wang, Gao, Han, Yang, & Shen (2024); Wang et al. (2022)。例如,高斯概率嵌入 Chun et al. (2021) 通过学习的均值和方差来建模模态模糊性,而盒 W ang et al. (2022) 和扇形 Wang et al. (2024) 表示使用封闭的几何区域来编码不确定性。这些方法为图文检索提供了有效的不确定性感知表示。然而,它们的不确定性建模仍与某些几何假设相关联,如协方差结构、轴对齐边界或角度开口。这些假设可能使学习到的不确定性区域依赖于潜在空间中的特定方向或方向分区。因此,当视觉输入经历旋转相关变化或布局变化时,相应的跨模态对齐可能变得不太稳定。此外,盒 Wang et al. (2022) 和扇形 Wang et al. (2024) 等基于几何的表示尝试提供模态感知的不确定性建模。然而,这些方法仍然根本依赖于异质模态之间方向信息的匹配。当视觉输入表现出旋转方差、遮挡或部分标注不匹配时,这种依赖关系容易导致嵌入空间中的错位和检索性能下降。
这些局限性促使我们探索一种更各向同性和语义可解释的不确定性建模策略用于图文检索,特别是在方向对齐可能不稳定的场景中。在本工作中,我们提出了一个高维球嵌入(HDBE)框架,它可以被视为一种几何上独特的不确定性感知表示,用于在统一嵌入空间中建模一对多对应关系。如图1所示,与先前的概率性和基于几何的表示不同,我们的方法将每个模态特定实例建模为高维球,其中中心编码了该模态语义上最确定的组成部分,由模态特定的编码器获得,而半径通过注意力引导的熵估计机制确定,自然地捕捉语义不确定性并在嵌入空间中形成置信度感知区域。由于高维球的各向同性对称性,所提出的表示并不显式地在潜在嵌入空间中施加轴对齐边界、协方差方向或角度分区。这在没有可靠的优先不确定性方向可用时,提供了一种紧凑的、方向无关的不确定性近似。因此,HDBE中的各向同性应被视为在紧凑的方向无关建模与表示各向异性不确定性能力之间的权衡。这种表述可能有助于降低对某些旋转相关或视角相关扰动的敏感性,但这并不意味着完整检索模型的严格旋转不变性,因为视觉编码器本身仍然受到图像变换的影响。基于此表示,我们进一步引入了一种蒙特卡洛采样方案,以更有效地捕捉不确定性下的语义变异性。具体而言,在每个高维球内采样点以生成围绕学习到的语义中心的多个有界候选表示。所采用的采样策略并不旨在均匀或穷尽地覆盖所有可能的语义解释。相反,它提供了潜在跨模态变异性的一种有限的、以中心为先验的近似,同时允许匹配目标考虑超越单个确定性嵌入的多种候选对应关系。从理论角度来看,使用高维球进行不确定性建模的动机可以超越几何直觉。首先,在高维几何中,球在中心表示周围定义了一个各向同性的有界区域,而没有显式地施加如轴对齐边界或角度分区这样的优先方向。当语义不确定性围绕可靠中心分布且没有预先知道特定不确定性方向时,这提供了一种紧凑的一阶近似。其次,由于高维空间中样本的集中行为,在球内的有界采样提供了一种稳定的方式来实例化围绕语义中心的多样化但受控的语义实现。第三,球可以被解释为围绕最可靠语义表示的紧凑有界不确定性区域。从该区域采样生成一个有限的候选实现集,其空间范围由学习到的半径控制。这种解释与图文检索的一对多性质一致,其中图像可能对应多个有效的文本描述,反之亦然。此外,为了有效度量跨模态语义相关性,我们进一步提出了一种新颖的最大穿透深度损失,该损失评估一个模态的采样点穿透另一个模态区域的深度。该损失直观、有效,并有助于提高跨模态检索的性能。
尽管HDBE是在更广泛的不确定性感知嵌入框架下开发的,但其贡献不仅仅是用一种几何形状替代另一种。相反,它建立了一个连贯的框架,将紧凑的标量半径球表示、熵引导的不确定性估计、基于蒙特卡洛的语义实例化和基于穿透的对齐目标相结合。这些组件共同提供了一种独特的方式来表示和优化图文检索中的一对多跨模态对应关系。
总之,我们的主要贡献有四点:
- 我们提出了一种创新方法,将视觉和文本实例都建模为高维球,其中每个球的中心编码该模态语义上最确定的方面,而半径捕捉固有的语义不确定性,旨在提高一对多对应关系场景中图像和文本之间的对齐和检索准确性。
- 为了考虑一对多对应关系固有的多样语义变化,我们在高维球内进行蒙特卡洛采样。该策略在学到的不确定性区域内生成多个受控的候选表示,使匹配目标能够考虑超越单个确定性嵌入的多种潜在对应关系。
- 我们引入了最大穿透深度损失,通过评估一个模态的采样点穿透另一个模态球对应区域的深度来度量跨模态语义相关性,从而确保语义多样的图文对的更好匹配。
- 在两个广泛使用的基准CUB和MSCOCO上的大量实验证明了该方法的有效性,超越了有竞争力的基线方法并验证了其泛化能力。
## 相关工作
图文检索通过识别异构数据源之间的语义对齐配对来弥合视觉和文本模态之间的语义鸿沟。基于特征表示策略,现有方法通常分为两大类:基于全局的方法 Chen, Hu, Wu, Jiang, & Wang (2021); Faghri, Fleet, Kiros, & Fidler (2018); Li, Zhang, Li, Li, & Fu (2023); Li, Guo, Feng, Hwang, & Xue (2022); Sanghavi & Verma (2022) 和基于区域的方法 Chen, Zheng 等。
## 方法
所提出的高维球嵌入(HDBE)框架的整体架构如图2所示。给定一个输入图像及其对应的文本描述,我们首先提取视觉和文本特征。然后这些特征通过各自的球编码器进行处理。在此过程中,球嵌入的中心通过专门的神经网络架构学习,而半径则通过注意力引导的熵机制计算。
## 实验
本节首先描述实验设置和设计,然后对HDBE模型进行深入的经验评估,解决以下研究问题:
- RQ1:HDBE的性能与现有一对多图文检索中的先进方法相比如何?
- RQ2:每个关键组件对HDBE整体性能的具体贡献是什么?
- RQ3:HDBE的超参数设置如何影响其有效性?
- RQ4:HDBE是否可以泛化...
## 结论
我们研究了图文检索中一对多对应关系建模的挑战,并证明了高维球表示在解决语义不确定性方面的有效性。通过在CUB和MSCOCO数据集上进行的大量实验,我们表明所提出的方法不仅实现了鲁棒的跨模态对齐,还在一系列评估指标上持续超越了大多数现有基线方法,包括检索准确性等。
## CRediT作者贡献声明
Xueyang Qin:概念构思、方法论、软件、撰写—原稿、撰写—审阅与编辑。
Wanting Ning:概念构思、形式化分析、撰写—原稿。
Jing Hao:资源、验证、形式化分析。
Yubo Feng:概念构思、资源、验证、形式化分析。
Zhongyuan Han:监督、撰写—原稿、资金获取。
## 利益冲突声明
所有作者声明没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
Xueyang Qin | Wanting Ning | Jing Hao | Yubo Feng | Zhongyuan Han