基于压缩嵌入检索和自适应过滤的多模态实体链接

《Expert Systems with Applications》:Multimodal Entity Linking with Condensed Embedding Retrieval and Adaptive Filtering

【字体: 大 中 小 】 时间:2026年09月28日 来源:Expert Systems with Applications 9.4

编辑推荐:

   •我们提出了CERAF,一种新颖的多模态实体链接框架,该框架将压缩嵌入检索与自适应过滤相结合。•基于MLLM的稠密检索器将多模态提及和实体编码为一词压缩嵌入,在无需图像到文本转换的情况下保留视觉信息。•一种风险控制型自适应实体过滤器在显式错误预算下为每个提及设置阈值,取代了僵

  
  • •
    我们提出了CERAF,一种新颖的多模态实体链接框架,该框架将压缩嵌入检索与自适应过滤相结合。
  • •
    基于MLLM的稠密检索器将多模态提及和实体编码为一词压缩嵌入,在无需图像到文本转换的情况下保留视觉信息。
  • •
    一种风险控制型自适应实体过滤器在显式错误预算下为每个提及设置阈值,取代了僵化的top-k或固定阈值策略。
  • •
    CERAF在三个公开数据集上取得了新的最先进结果,H@1平均提升4.8%。

引言

实体链接(EL)是专家系统和自然语言处理(NLP)中的核心任务(Chen, Zhang, Fang, Geng, Guo, Chen, Liu, Pan, Zhang, Chen, Zhang, 2025, Hoffmann, Zhang, Ling, Zettlemoyer, Weld, 2011, Long, Niu, Li, 2020, Zeng, Su, Wen, Liu, Xie, Yin, Zhao, 2018)。其目标是将文本中的提及(需要链接的文本片段,如人名、地名或机构名)与知识库中对应的唯一实体关联起来。EL广泛应用于基于知识的答案生成(Shahini Shamsabadi, Ramezani, Khosravi Farsani, & Nematbakhsh, 2023)和推荐系统(Zhao et al., 2026)等领域。传统EL主要依赖文本上下文,利用名称相似性、上下文语义以及知识库中的结构化信息进行消歧(De Cao, Izacard, Riedel, Petroni, 2021, Devlin, Chang, Lee, Toutanova, 2019, Wu, Petroni, Josifoski, Riedel, Zettlemoyer, 2020)。虽然来自互联网和社交网络的多模态数据已成为主流信息载体,但其质量往往因歧义性提及和上下文不足而受到影响(Wang, Tian, Gui, Li, Wang, Yan, Chen, Xiao, 2022b, Zhao, Wang, Chen, Li, Zheng, Xiao, 2025)。由于仅靠文本信息往往不足以实现有效的实体链接(Gan, Luo, Wang, Wang, He, Huang, 2021, Moon, Neves, Carvalho, 2018),多模态实体链接(MEL)(Chen, Zhang, 2024, Gan, Luo, Wang, Wang, He, Huang, 2021)通过引入视觉信息来改善消歧性能,从而有益于视觉问答(Ma, Yu, Li, Li, 2023, Si, Meng, Zheng, Lin, Liu, Fu, Cao, Wang, Zhou, 2022)和语义搜索等广泛应用,为用户提供实体特定知识的访问途径。
图1(b)展示了一个MEL示例。文本上下文中的提及"澳大利亚"可能指代国家本身,也可能指其国家足球队、排球队等。仅依据文本上下文准确选择对应实体具有挑战性,但通过整合图像信息,我们可以推断此处的"澳大利亚"指的是"澳大利亚国家女子轮椅篮球队"。
对于MEL任务,许多基于深度学习(DL)的方法应运而生。这些方法通常聚焦于使用注意力机制(Moon et al., 2018)、门控机制(Wang, Wu, & Chen, 2022a)和混合专家模型(Hu, Gutiérrez-Basulto, Xiang, Li, & Pan, 2025)等技术来对齐和融合多模态信息,以应对多模态信息整合的挑战。然而,这些方法存在先验知识不足和泛化能力有限的问题(Liu et al., 2025),限制了其在实际应用中的效果。
随着大语言模型(LLM)的兴起,研究人员将LLM应用于MEL任务。例如,LLM的语义理解和推理能力可被用于实体重排序(Kim, Lee, Kim, Shin, 2025, Luo, Xu, Liu, Zhang, Xu, Li, Chen, 2024, Shi, Xu, Hu, Zhang, 2024),或者利用LLM和MLLM进行信息摘要和增强(Liu et al., 2024b)。得益于大规模语料的预训练,LLM天然适合应对上述基于DL方法所面临的挑战。
尽管MEL任务取得了显著进展,但上述方法仍存在两个局限性:
  • •
    图像信息利用不足。现有方法在利用视觉信息方面面临一个核心困境。一方面,基于CLIP的提取缺乏视觉先验知识。如图1(a)所示,它可能基于表面名称相似性将提及链接到错误实体"加拿大杜鹃花",而未能识别花卉物种。另一方面,将图像转换为文本,无论是通过MLLM摘要(Liu et al., 2024b)还是OCR和密集标注等线索(Liu et al., 2025),都会不可避免地丢失视觉信息。如图1(b)所示,MLLM在摘要图像时遗漏了"轮椅"这一线索,导致实体选择错误。
  • •
    静态过滤机制的固有局限性。在过滤候选实体时,现有方法要么直接选择top-k个实体(Liu, He, Xu, Lian, Liu, Zheng, Chen, 2024b, Luo, Xu, Liu, Zhang, Xu, Li, Chen, 2024),要么应用固定相似度阈值(Liu, Li, Li, Ruan, Wang, He, Wang, Cao, Liu, 2025, Pan, Qiu, Jiang, Tao, 2026)。top-k策略可能包含低质量候选,将计算资源浪费在不必要的重排序上。固定阈值策略缺乏应对不同查询难度的适应性,导致对简单任务过滤不足或对复杂任务过滤过度。
为了解决这些局限性,我们提出了基于压缩嵌入检索与自适应过滤的多模态实体链接方法(CERAF)。首先,为了更好地在候选检索阶段利用图像信息,我们利用带有单词约束的MLLM将提及和实体编码为压缩嵌入,并通过批内对比和困难样本微调来增强其多模态理解能力。其次,为克服静态候选过滤的问题,我们设计了一种自适应过滤器,在保证错误率受控的前提下最小化送入重排序的候选数量。最后,我们微调MLLM对过滤后的候选进行重排序以完成消歧。
总之,本研究的贡献如下:
  • •
    我们提出了一种MLLM检索器,将每个提及和实体的多模态上下文编码为一词压缩嵌入,更好地保留和利用视觉信息以实现MEL中的候选检索。据我们所知,这是首个直接利用MLLM作为该任务稠密检索器的研究。
  • •
    我们设计了一种风险控制型自适应实体过滤器,在显式错误预算下为每个提及设置阈值,对高置信度提及收紧候选集,对模糊提及则放宽,同时保持准确性。
  • •
    CERAF在三个公开数据集上取得了最先进结果,H@1平均提升4.3%。

各节摘要

相关工作

实体链接。EL旨在将文本中的提及与知识库中对应的实体关联起来。早期方法依赖于规则和统计特征(Cucerzan, 2007)。随着机器学习技术的发展,EL广泛采用了监督和半监督学习方法,通过提取实体特征和上下文信息来训练模型做出链接决策(Lehmann, Monahan, Nezda, Jung, Shi, 2010, Ratinov, Roth, Downey, Anderson, 2011)。近年来

方法论

本节详细介绍所提出的CERAF框架。如图2所示,CERAF以多模态提及和实体为输入,最终输出与提及关联的实体QID。在3.1节中,我们首先定义MEL任务。后续三节分别介绍CERAF的三个模块:CER(压缩嵌入检索,3.2节)、AEF(自适应实体过滤器,3.3节)和MER(基于MLLM的实体重排序,3.4节)。

实验

本节报告在三个公开可用的MEL数据集上的实验结果。首先呈现与最先进基线方法的主要对比,随后通过消融实验考察各个模块并比较不同的嵌入和过滤策略。接着分析参数敏感性。本节最后以详细分析收尾,考察了方法的多样性、鲁棒性、收敛性、嵌入空间结构、效率以及定性案例分析。

结论

本研究针对MEL中的两大挑战——图像信息利用不足和静态候选过滤的固有局限性,提出了CERAF,一个将压缩嵌入检索与自适应过滤相结合的框架。其基于MLLM的稠密检索器将多模态提及和实体编码为压缩嵌入,无需有损的图像到文本转换;其风险控制型过滤器在受控错误预算范围内,在重排序之前对候选集进行剪枝。

未引用的浮动元素

缺少引用表4

CRediT作者贡献声明

王茂增:概念设计、方法论、调查研究、撰写——初稿。张颖:监督指导、项目管理、资金获取。隋旭辉:数据整理、撰写——初稿、验证。陈冠秀:形式化分析、软件开发。朱浩泽:资源提供、可视化。赵宇:撰写——审阅与编辑、验证。周宝航:撰写——审阅与编辑、监督指导。

利益冲突声明

作者声明他们不存在任何已知的可能影响本论文所报告工作的竞争性经济利益或个人关系。
王茂增|张颖|隋旭辉|陈冠秀|朱浩泽|赵宇|周宝航
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号