MAMMD:一个用于多模态隐喻检测的多智能体协作框架
《Neurocomputing》:MAMMD: A multi-agent collaboration framework for multimodal metaphor detection
【字体:
大
中
小
】
时间:2026年03月19日
来源:Neurocomputing 6.5
编辑推荐:
提出MAMMD多智能体协作框架解决多模态隐喻检测中的模态特异性推理不足、解释多样性缺乏和反思性推断缺失问题,通过任务型、视角型和反思型协作机制实现跨模态信息整合与抽象推理,实验表明其显著优于现有基线方法。
张玉杰|陈志豪|郭青松|万静
北京化工大学,北京,100029,中国
摘要
在多模态环境中检测隐喻是一项基本而具有挑战性的任务,这主要是由于隐喻的隐含性质以及文本和图像之间的复杂交互。现有方法面临三个关键限制:缺乏针对特定模态的推理能力、解释多样性不足以及缺乏反思性推理。为了解决这些问题,我们提出了MAMMD,这是一个用于增强隐喻理解的新型多智能体协作框架。我们的方法将智能体分为三种协作类型,即基于任务的协作、基于视角的协作和基于反思的协作,每种类型都针对特定的推理缺陷。具体来说,检测过程被分解为三个由不同智能体处理的特定任务阶段:文本智能体小组关注语言线索,图像智能体小组分析视觉语义,合成智能体整合跨模态证据。除了任务层面的协作外,我们还引入了一种细粒度的辩论机制,文本和图像智能体在判断监督下从对立的角度进行推理,从而提高了解释的鲁棒性。此外,一个专门的反思智能体会在其他智能体的推理过程中与它们互动,持续评估中间输出,识别语义差距,并指导迭代改进,以增强语义的完整性和连贯性。据我们所知,这是第一个引入多智能体框架用于多模态隐喻检测的研究。在MET-MEME和MultiMM数据集上的广泛实验表明,MAMMD的性能显著优于现有的最佳基线方法。
引言
隐喻是人类认知和交流的重要机制,它允许通过生动和富有想象力的表达来传递抽象概念和复杂情感[29]。在自然语言处理中,理解隐喻对于更深层次的语义解释、情感分析和高级推理任务至关重要。随着社交媒体平台上多模态内容的迅速普及,隐喻不再局限于纯文本,而是越来越多地嵌入到文本和图像之间的复杂交互中,使得多模态隐喻检测成为一个新兴且具有挑战性的任务[37]。
与单一模态中的传统隐喻检测[3]、[19]、[20]相比,多模态环境引入了新的复杂性层次。它还使得抽象概念的交流更加直观。例如,“时间就是金钱”这样的文本隐喻依赖于两个抽象领域(时间和金钱)之间的直接概念映射。相比之下,多模态隐喻整合了跨模态和同模态推理。如图1所示,这种多模态隐喻展示了这种推理过程。在同模态内,文本将“水流”映射到“电流”,将“水车”映射到“灯泡”。在跨模态上,文本短语与视觉元素直接对应。图像中的水车对应于文本中的“水车”,电路图中的灯泡对应于文本中的“灯泡”。这种分层推理将文本和图像联系起来,还将不可见的电流过程转化为可观察到的水流运动。这有助于阐明电流如何驱动灯泡,就像水流如何驱动水车一样。因此,多模态隐喻检测涉及跨模态和同模态之间的相互关联的推理,通过具体的跨模态映射使抽象知识更易于理解。
有效的隐喻检测不仅需要从每种模态中提取语义信息,还需要对微妙的跨模态交互进行推理,隐喻意义通常源于视觉和文本线索之间的张力或互补性。此外,来自现实世界来源的多模态数据本质上具有噪声、不完整性和风格多样性,这对鲁棒和泛化的理解构成了重大障碍[34]。例如,如图2所示,隐喻意义源于多样化的实际视觉-文本交互。图2(a)展示了“知识是人类进步的阶梯”这一隐喻:楼梯的视觉形象与文本中的“阶梯”相对应,说明了累积学习如何支撑人类发展——这是一个常见的教育隐喻,用于传达知识积累的价值。图2(b)使用“梵高的笔触是跳舞的火焰”:《星夜》中的旋涡状笔触在视觉上反映了火焰的运动,有助于在艺术教育背景下解释作品的激情和动态特性。图2(c)体现了“时间在流逝”:沙漏中的流动沙子和撕碎的日历将抽象的时间流逝概念与具体的日常图像联系起来。这些案例展示了隐喻意义是如何嵌入到具有上下文意义的跨模态映射中的,突出了需要能够进行深度推理和灵活解释的模型的必要性。
人们对多模态隐喻检测的兴趣日益增长,但仍存在几个关键挑战。(1) 特定模态的推理限制:这项任务本质上是复合的,因为隐喻意义可能来自每种模态本身或它们的交互。然而,大多数方法采用了一次性融合策略[28]、[39],限制了对特定模态线索的细粒度推理。(2) 解释多样性不足:人类的隐喻解释往往是主观的且依赖于视角,但现有模型应用了统一的推理方法,忽略了解释多样性,特别是在模糊情况下增加了误分类的风险[27]。(3) 缺乏反思性推理:隐喻理解需要抽象的多步骤推理,但当前系统缺乏反思机制来修正有缺陷或不完整的推理。这些挑战在图2中得到了体现,隐喻意义源于微妙的视觉-文本交互和抽象的符号对应关系。
受到大型模型驱动的多智能体系统在复杂任务中的自适应问题解决能力的启发[12]、[22]、[37],我们提出了一种名为MAMMD(多智能体多模态隐喻检测)的隐喻检测方法,该方法基于多层次的多智能体协作框架。该框架不仅旨在解决上述挑战,还自然地符合隐喻理解的内在复杂性,其中意义来自异构线索、主观视角和迭代抽象。具体来说,(1) 为了解决特定模态的推理限制,我们采用了基于任务的协作机制,将隐喻理解过程分解为三个子任务——文本、视觉和跨模态,由专门的智能体处理以增强模态感知的知识。(2) 为了提高解释多样性,文本和图像智能体小组包含持有对立观点的子智能体,它们进行内部辩论,由一个判断智能体选择最合理的解释,从而模拟人类隐喻理解的主体性。(3) 为了支持反思性推理,一个反思智能体会在推理过程中与其他智能体互动,识别语义差距并进行元级评估,以修正浅层或错误的初始推理,并迭代改进输出,以提高连贯性和完整性。通过这种多层次协作,系统不仅进行了深度信息扩展,还在序列协作中传递了优化后的输出,形成了一个渐进的推理链,允许捕捉到更细微的隐喻线索。(4) 最后,将丰富的信息与原始输入整合进行多模态编码和融合,并训练了一个隐喻检测分类器。
我们的主要贡献总结如下:
•在这项工作中,我们提出了一种用于多模态隐喻检测的新型多智能体系统,实现了文本和图像之间的互补和协作推理。
•我们提出了一种新的多层次多智能体协作框架,它整合了基于任务的协作、基于视角的协作和基于反思的协作。它涉及文本、图像、合成、判断和反思智能体,以结构化和交互的方式工作,以支持多样化和渐进的隐喻理解。
•我们在基准多模态隐喻数据集上进行了广泛的实验。结果表明,我们的方法显著优于现有的最佳基线方法,并突出了结构化智能体协作、深度信息扩展和反思性推理在隐喻理解中的优势。
部分片段
隐喻检测
最近在隐喻检测方面的进展主要利用了大型预训练语言模型(PLMs),结合了语言理论和认知见解来提高性能。例如,MelBERT [3] 将隐喻识别理论融入BERT,而FrameBERT [19] 利用FrameNet嵌入进行概念级别的隐喻检测。EmbodiedBERT [20] 引入了感觉运动信息来模拟隐喻理解中的认知过程。此外,类似模型
概述
任务定义。 从形式上讲,多模态隐喻检测任务可以定义为图像-文本对上的二分类问题,旨在确定模态之间的交互是否传达了隐喻意义。设表示带有相关标签的此类数据集:
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号