FAME-DA:面向多模态命名实体识别的频率感知调制专家与双重仿射
《Knowledge-Based Systems》:FAME-DA: Frequency-Aware Modulated Experts with Dual Affine for multimodal named entity recognition
【字体:
大
中
小
】
时间:2026年09月28日
来源:Knowledge-Based Systems 8.0
编辑推荐:
**摘要** 多模态命名实体识别(MNER)旨在整合文本和视觉信息,以在社交媒体等多模态场景中准确地识别实体边界和类别。现有的基于模态融合的方法缓解了图像利用不足和文本过拟合问题。然而,仍面临两个局限:第一,缺乏对跨模态表示的细粒度语义增强,导致类别混淆和边界不连续;第二,缺
**摘要** 多模态命名实体识别(MNER)旨在整合文本和视觉信息,以在社交媒体等多模态场景中准确地识别实体边界和类别。现有的基于模态融合的方法缓解了图像利用不足和文本过拟合问题。然而,仍面临两个局限:第一,缺乏对跨模态表示的细粒度语义增强,导致类别混淆和边界不连续;第二,缺乏对词元间结构关系的显式建模,导致多词实体和多类别共存场景下的预测稳定性不足。为解决上述局限,本文提出了一种新方法——面向多模态命名实体识别的双仿射频率感知调制专家方法(FAME-DA)。具体而言,我们首先通过将视觉语义注入文本编码过程,实现视觉与文本信息之间的初步交互。其次,我们设计了基于频率嵌入的专家调制模块,对融合后的跨模态表示进行重构和细粒度语义增强,从而突出实体相关特征并抑制背景噪声干扰。最后,我们引入了双仿射打分策略,显式建模词元间的交互关系,增强实体内一致性和局部结构依赖建模能力,从而提高多词实体识别和复杂多实体场景下的预测稳定性。我们在多个广泛使用的MNER数据集上验证了FAME-DA的有效性,并通过消融研究、效率分析和可视化分析对各组件的贡献进行了系统评估。实验结果表明,FAME-DA在Twitter2015和Twitter2017数据集上分别比第二好的基线方法取得了1.37和2.02个百分点的F1分数提升。
**引言** 多模态命名实体识别(MNER)旨在整合文本和视觉信息,以在社交媒体等多模态场景中进行实体识别和分类[1]。与传统文本命名实体识别相比,MNER可以利用视觉信息为模糊文本提供额外的语义线索,因而在复杂开放域场景中展现出更强的应用价值[2]。近年来,随着社交媒体内容的多模态化程度不断提高以及跨模态学习的快速发展,MNER已成为信息抽取领域的重要研究方向[3]。然而,由于文本与图像之间频繁出现显著的语义不一致和信息缺失[4],MNER任务仍面临诸多挑战。例如,图1中对应文本"Greg Hardy to Visit Cowboys, Seahawks, Buccaneers"的图像仅包含与实体Greg Hardy相关的信息,而其余实体Cowboys、Seahawks和Buccaneers并未在视觉内容中体现。此外,对于文本"Live pictures from Goodison Park, Wigan fans look…",其对应的图像甚至完全缺乏与目标实体相关的有效视觉线索。在此类场景中,图像不仅无法为文本实体识别提供充分支持,还可能因跨模态语义错位而引入额外干扰,从而增加模型准确识别实体类别和边界的难度[5]。因此,如何有效利用视觉信息辅助文本理解,同时减轻跨模态语义不一致带来的干扰,已成为MNER研究中的关键问题。
在MNER领域,现有研究主要集中在视觉与文本信息的交互与融合上,旨在通过引入图像语义线索来提升实体识别性能。早期方法通常利用视觉引导机制或视觉前缀信息,将图像语义注入预训练语言模型,从而增强文本实体表示能力[6][7]。随后,研究者进一步探索了文本与图像之间的细粒度对齐与语义匹配,通过跨模态匹配、联合表示增强或多粒度交互机制来提高文本与图像的语义一致性[8][9][10]。与此同时,鉴于社交媒体图像中往往包含与目标实体无关的背景信息,某些方法开始从视觉上下文建模、跨模态注意力调制和视觉噪声过滤等角度提高视觉信息利用的可靠性,从而减轻错误视觉线索对实体识别的干扰[11][12][13]。
尽管现有方法在MNER任务上取得了一定进展,但它们主要强调视觉特征学习和跨模态交互,而对融合后的跨模态表示的进一步细粒度重构以及词元间结构关系的建模关注不足。一方面,通过引入视觉信息来改善文本表示的方法在跨模态学习过程中经常遇到模态不一致和背景噪声问题,同时融合过程中还存在特征冗余。基于跨模态融合和交互的方法往往无意中改变了单个模态的原始语义,导致语义偏差,进而损害识别准确性。图像信息理应补充或消歧文本信息。特别是在视觉语义支持较弱而文本上下文依赖较强的情况下,仅依靠跨模态融合本身往往难以获得足够区分性的细粒度语义表示。另一方面,由于命名实体通常由多个词元组成,尽管基于上下文建模的方法在一定程度上提高了跨模态融合的有效性,但它们缺乏对词元间结构关系的显式刻画。这一缺陷导致模型在多词实体识别和多类别实体共存场景中表现出预测不稳定和类别偏移现象。此外,MNER中的视觉信息往往包含与任务无关或文本语义弱对齐的线索。当此类视觉特征被直接注入语言编码器时,可能会干扰用于实体识别的词元表示学习。这种效应在涉及模糊实体和多词实体边界识别的场景中尤为明显。
为解决上述问题,本文设计了一个增强的多模态命名实体识别框架。在基于视觉前缀嵌入提供跨模态先验信息的基础上,我们对融合后的跨模态表示进行细粒度语义增强,并采用词元间结构关系建模作为辅助支持。基于此,我们提出了面向多模态命名实体识别的双仿射频率感知调制专家方法(FAME-DA)。FAME-DA首先将提取的视觉特征作为提示信息注入预训练语言模型,在参与文本表示构建的同时完成初步的跨模态信息交互。在此基础上,我们进一步设计了频率感知调制专家模块来增强跨模态表示。该模块引入了基于频域信息建模的专家选择式表示重构机制。这种专家调制机制不仅能够对跨模态融合特征进行更细粒度的语义过滤和增强,还能使模型更有效地突出与实体识别相关的关键信号,从而减轻实体类别混淆和边界不连续问题。为进一步增强序列标注过程中的结构一致性,我们提出了词元-词元双仿射打分机制来显式建模词元间关系。该模块参数化了词元对之间的交互,使模型在预测当前词元标签时,不仅考虑其自身的语义表示,还能纳入相邻词元和实体内部相关词元提供的结构支持信息。因此,模型能够更有效地处理多词实体识别中的边界判定和多类别实体共存场景中的类别区分问题。基于上述设计,所提方法在跨模态信息融合、细粒度语义增强和结构关系建模之间建立了协同机制,从而显著提高了多模态命名实体识别的准确性和稳定性。本工作的主要贡献可总结如下:
- 我们设计了频率感知调制专家(FAME)模块。该模块对跨模态表示空间进行进一步的重构和增强,减弱低相关视觉信息对实体识别的干扰,从而提高实体类别区分能力并缓解多模态场景中常见的实体边界不连续问题。
- 我们设计了词元-词元双仿射打分机制。该机制显式建模词元间交互关系,增强了刻画实体内连续性和上下文结构依赖的能力,从而提高了模型在多词实体识别和多类别实体共存场景中的预测稳定性。
- 在多个命名实体识别数据集上的实验结果表明,所提FAME-DA在所有评估指标上均达到了最先进的性能。此外,我们通过全面的消融实验和对比实验验证了各组件的有效性以及模型良好的计算效率。
**多模态命名实体识别** MNER的核心目标是通过融合文本和视觉信息,消除社交媒体等开放域场景中的歧义并提升实体识别性能[14]。早期研究通常采用神经网络提取图像特征,并通过注意力机制将其与文本编码结果进行拼接或融合,从而为实体识别提供辅助视觉信息。例如,Zhang等人[1]实现了文本的……(原文截断)
**方法** 本节正式定义了MNER任务,并详细描述了所提FAME-DA框架的架构。如图2所示,该框架由四个主要组件构成:(1)**模态编码器**,通过图像预训练模型提取多尺度视觉特征,将其作为视觉前缀与文本序列一起注入文本编码器,联合编码上下文和跨模态语义信息;(2)**频率嵌入**,捕获……(原文截断)
**数据集和评估指标** 遵循MNER任务的前期研究,我们在两个公开的多模态数据集上开展实验:Twitter15[1]和Twitter17[29]。两个数据集均由Twitter平台收集的文本-图像对组成。每个数据集由文本-图像对构成,其中文本内容可能包含零个或更多命名实体。实体被分为四个类别:人名(PER)、组织(ORG)、地点(LOC)和杂项(MISC)。表1展示了……(原文截断)
**结论与未来工作** 本文提出了FAME-DA,一种利用频率感知调制专家进行增强表示学习并随后采用双仿射打分的多模态命名实体识别方法。该方法分为三个阶段运行。首先,在编码阶段通过前缀注入将视觉信息与文本特征整合,实现早期跨模态交互。其次,我们引入了频率感知专家模块来进一步优化文本表示……(原文截断)
**CRediT作者贡献声明** 朱彦安:审阅与编辑、验证、监督、方法论、形式分析。苏江:审阅与编辑、原创手稿撰写、软件、方法论、调查研究、概念化。姚娟娟:审阅与编辑、监督、方法论、形式分析。张立祥:审阅与编辑、验证、监督、方法论、形式分析。
**利益冲突声明** 作者声明不存在已知的竞争性经济利益或个人关系,这些关系可能影响到本文所报告的工作。
**致谢** 本工作由中国国家重点研发计划(2021YFC2802503)资助。
朱彦安 | 苏江 | 姚娟娟 | 张立祥
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号