引言
实体链接(EL)是专家系统和自然语言处理(NLP)中的核心任务(Chen, Zhang, Fang, Geng, Guo, Chen, Liu, Pan, Zhang, Chen, Zhang, 2025, Hoffmann, Zhang, Ling, Zettlemoyer, Weld, 2011, Long, Niu, Li, 2020, Zeng, Su, Wen, Liu, Xie, Yin, Zhao, 2018)。其目标是将文本中的提及(需要链接的文本片段,如人名、地名或机构名)与知识库中对应的唯一实体关联起来。EL广泛应用于基于知识的答案生成(Shahini Shamsabadi, Ramezani, Khosravi Farsani, & Nematbakhsh, 2023)和推荐系统(Zhao et al., 2026)等领域。传统EL主要依赖文本上下文,利用名称相似性、上下文语义以及知识库中的结构化信息进行消歧(De Cao, Izacard, Riedel, Petroni, 2021, Devlin, Chang, Lee, Toutanova, 2019, Wu, Petroni, Josifoski, Riedel, Zettlemoyer, 2020)。虽然来自互联网和社交网络的多模态数据已成为主流信息载体,但其质量往往因歧义性提及和上下文不足而受到影响(Wang, Tian, Gui, Li, Wang, Yan, Chen, Xiao, 2022b, Zhao, Wang, Chen, Li, Zheng, Xiao, 2025)。由于仅靠文本信息往往不足以实现有效的实体链接(Gan, Luo, Wang, Wang, He, Huang, 2021, Moon, Neves, Carvalho, 2018),多模态实体链接(MEL)(Chen, Zhang, 2024, Gan, Luo, Wang, Wang, He, Huang, 2021)通过引入视觉信息来改善消歧性能,从而有益于视觉问答(Ma, Yu, Li, Li, 2023, Si, Meng, Zheng, Lin, Liu, Fu, Cao, Wang, Zhou, 2022)和语义搜索等广泛应用,为用户提供实体特定知识的访问途径。
图1(b)展示了一个MEL示例。文本上下文中的提及"澳大利亚"可能指代国家本身,也可能指其国家足球队、排球队等。仅依据文本上下文准确选择对应实体具有挑战性,但通过整合图像信息,我们可以推断此处的"澳大利亚"指的是"澳大利亚国家女子轮椅篮球队"。
对于MEL任务,许多基于深度学习(DL)的方法应运而生。这些方法通常聚焦于使用注意力机制(Moon et al., 2018)、门控机制(Wang, Wu, & Chen, 2022a)和混合专家模型(Hu, Gutiérrez-Basulto, Xiang, Li, & Pan, 2025)等技术来对齐和融合多模态信息,以应对多模态信息整合的挑战。然而,这些方法存在先验知识不足和泛化能力有限的问题(Liu et al., 2025),限制了其在实际应用中的效果。
随着大语言模型(LLM)的兴起,研究人员将LLM应用于MEL任务。例如,LLM的语义理解和推理能力可被用于实体重排序(Kim, Lee, Kim, Shin, 2025, Luo, Xu, Liu, Zhang, Xu, Li, Chen, 2024, Shi, Xu, Hu, Zhang, 2024),或者利用LLM和MLLM进行信息摘要和增强(Liu et al., 2024b)。得益于大规模语料的预训练,LLM天然适合应对上述基于DL方法所面临的挑战。
尽管MEL任务取得了显著进展,但上述方法仍存在两个局限性:
- •
图像信息利用不足。现有方法在利用视觉信息方面面临一个核心困境。一方面,基于CLIP的提取缺乏视觉先验知识。如图1(a)所示,它可能基于表面名称相似性将提及链接到错误实体"加拿大杜鹃花",而未能识别花卉物种。另一方面,将图像转换为文本,无论是通过MLLM摘要(Liu et al., 2024b)还是OCR和密集标注等线索(Liu et al., 2025),都会不可避免地丢失视觉信息。如图1(b)所示,MLLM在摘要图像时遗漏了"轮椅"这一线索,导致实体选择错误。
- •
静态过滤机制的固有局限性。在过滤候选实体时,现有方法要么直接选择top-k个实体(Liu, He, Xu, Lian, Liu, Zheng, Chen, 2024b, Luo, Xu, Liu, Zhang, Xu, Li, Chen, 2024),要么应用固定相似度阈值(Liu, Li, Li, Ruan, Wang, He, Wang, Cao, Liu, 2025, Pan, Qiu, Jiang, Tao, 2026)。top-k策略可能包含低质量候选,将计算资源浪费在不必要的重排序上。固定阈值策略缺乏应对不同查询难度的适应性,导致对简单任务过滤不足或对复杂任务过滤过度。
为了解决这些局限性,我们提出了基于压缩嵌入检索与自适应过滤的多模态实体链接方法(CERAF)。首先,为了更好地在候选检索阶段利用图像信息,我们利用带有单词约束的MLLM将提及和实体编码为压缩嵌入,并通过批内对比和困难样本微调来增强其多模态理解能力。其次,为克服静态候选过滤的问题,我们设计了一种自适应过滤器,在保证错误率受控的前提下最小化送入重排序的候选数量。最后,我们微调MLLM对过滤后的候选进行重排序以完成消歧。
总之,本研究的贡献如下:
- •
我们提出了一种MLLM检索器,将每个提及和实体的多模态上下文编码为一词压缩嵌入,更好地保留和利用视觉信息以实现MEL中的候选检索。据我们所知,这是首个直接利用MLLM作为该任务稠密检索器的研究。
- •
我们设计了一种风险控制型自适应实体过滤器,在显式错误预算下为每个提及设置阈值,对高置信度提及收紧候选集,对模糊提及则放宽,同时保持准确性。
- •
CERAF在三个公开数据集上取得了最先进结果,H@1平均提升4.3%。