MMCGR:一种基于RWKV的多模态级联门控融合模型,用于对话中的情感识别

《Neurocomputing》:MMCGR: A multimodal cascaded gated fusion RWKV-based model for emotion recognition in conversations

【字体: 大 中 小 】 时间:2026年03月26日 来源:Neurocomputing 6.5

编辑推荐:

  多模态情感识别中,现有方法因模态竞争和融合不足导致信息利用不充分。本文提出基于RWKV的级联融合模型MMCGR,通过跨模态双窗口注意力机制和参数共享策略,解决模态异质性问题,再采用级联门控动态加权融合。实验表明,在IEMOCAP和MELD数据集上,模型相比基线方法提升显著,验证了跨模态交互和动态融合的有效性。

  
何波|韩浩|赵若宇
重庆理工大学计算机科学与工程学院,中国重庆400054

摘要

对话中的情感识别(ERC)在多个领域受到了广泛关注,包括推荐系统和人机交互。现有研究主要集中在文本模态和说话者的上下文依赖性上。然而,单一模态的信息本身存在局限性,这使得难以全面描述对话中情感的动态演变。尽管当前的多模态方法引入了额外的模态,但将每种模态平等对待的策略会导致模态之间的竞争性干扰,无法充分提取互补信息。为了解决这个问题,我们提出了一种多模态级联融合RWKV(MMCGR)方法。该方法采用级联门控融合架构,并结合RWKV的线性注意力计算优势,以实现跨模态的适应性特征聚焦,有效缓解了模态竞争引起的特征稀释问题。首先,使用预训练模型从对话语句中提取单模态特征。然后,这些句子向量通过跨模态RWKV和单模态RWKV进行处理,以辨别模态间和模态内的关系。接下来,级联门控融合策略动态调整不同模态之间的权重,有效利用隐藏的多模态信息。融合后的特征表示被输入到情感分类层以预测情感类别。在IEMOCAP和MELD数据集上的广泛实验表明,我们的MMCGR方法显著提高了ERC的性能。

引言

对话中的情感识别(ERC)是情感识别(ER)的一个子领域,专注于识别对话中单个语句的情感。近年来,由于其在意见挖掘、医疗保健、教育、共情系统等领域的潜在应用,ERC已成为自然语言处理中的一个重要研究课题[1]、[2]、[3]。这种日益增长的兴趣凸显了改进ERC技术的重要性,以便更好地理解和回应人类对话中的情感细微差别。
目前,已经提出了许多方法来应对ERC的挑战。与传统的ER问题不同,大多数现有的ERC方法强调说话者之间的关系以及与对话上下文的联系[4]、[5]、[6]、[7],旨在提取与情感上下文语义最相关的特征。与传统的循环神经网络(RNN)[5]相比,基于Transformer的方法[8]、[9]表现出了更好的性能。Transformer的优势在于它们能够通过注意力机制高效提供全局上下文语义信息,从而实现并行处理。然而,Transformer的一个缺点是在处理长距离依赖性时计算复杂度较高。相比之下,Receptance Weighted Key Value(RWKV)模型[10]、[11]结合了Transformer和RNN的优点,采用线性复杂度的注意力机制,从而保持了并行处理的优势。其出色的性能表明,它是处理依赖上下文建模任务的合适替代方案。
除了上下文依赖性建模外,还需要考虑声学和视觉模态中存在的丰富特征,如面部表情和语调。这些非文本模态包含文本数据中不存在的特征。如图1所示,仅通过检查第三句中的“在伦敦”这一短语,无法确定其情感类别。然而,考虑到乔伊的语调和他脸上的惊讶表情,可以很容易地推断出该陈述的情感类别是惊讶。因此,多模态数据比单模态文本包含更多的信息,使得多模态融合成为ERC领域的一个关键组成部分。然而,在多模态融合过程中,一个不可避免的挑战是如何有效地利用模态内部和跨模态的有用信息。由于每种模态本身都包含噪声,并且模态之间存在结构差异,直接将它们连接起来[5]、[12]、[13]可能会引入额外的冗余信息。除了简单的模态连接之外,还提出了几种多模态数据建模方法[14]、[15]。然而,这些方法往往忽略了模态之间的差异,将所有模态平等对待。然而,当前关于多模态的研究[16]、[17]表明,文本模态包含比声学和视觉模态更有价值的情感信息,后者往往噪声更大。因此,开发考虑这些差异的策略对于提高ERC中多模态融合的有效性至关重要。
为了解决上述问题,我们提出了一个新颖的MERC模型MMCGR,旨在有效建模多模态数据。首先,我们为三种模态分别使用特征提取器,并结合说话者编码。然后,我们使用基于RWKV的模态编码器来捕捉模态内和模态间的关系。与传统的RWKV模型不同,我们的设计采用了两个输入窗口来获取跨模态特征信息。之后,我们引入了一种可学习的级联融合策略来整合模态编码。融合后的特征被输入到情感分类器以获得情感标签。
总之,我们的贡献如下:
  • •
    我们提出了一种基于RWKV的模态编码器,它可以以线性复杂度计算注意力分数。与之前的RWKV模型不同,在处理跨模态注意力时,我们设计了两个输入窗口来捕捉特征,并实施了参数共享策略以进一步减少计算资源消耗。
  • •
    我们引入了一种可学习的多模态级联融合策略,该策略首先在单模态级别过滤掉无关信息,然后在多模态级别学习权重,从而更有效地整合多模态特征。
  • •
    我们的主要损失函数是带有标签平滑的交叉熵损失,并辅以模态间一致性损失作为辅助损失。这种组合有助于级联门控融合策略学习更丰富的交互式特征表示。
  • •
    在两个基准数据集上的实验表明,我们提出的模型优于现有模型。
  • 本文的其余部分结构如下:第2节回顾了以往相关研究的工作。第3节详细描述了模型的架构及其基本原理。第4节阐述了实验中使用的数据集、评估指标、基准模型和实验结果。第5节重点讨论了本文的研究内容。最后,第6节总结了本文并提出了未来研究的方向。

    相关研究

    相关工作

    在本节中,我们回顾了对话中的多模态情感识别和Receptance Weighted Key Value的相关领域的研究。

    方法

    本节描述了我们提出的MMCGR模型的具体实现方法。该模型包括三个部分:单模态特征处理器、多模态混合器和情感分类器。单模态特征处理器模块负责将句子编码为特征数据,而多模态混合器则整合多模态特征。之后,情感分类器预测句子的情感类别。整个MMCGR框架如图2所示。

    实验

    在本节中,我们展示了将我们的方法与不同基准模型进行比较的全面实验,并提供了各种网络架构下的实验结果。我们还提供了必要的分析和讨论,以进一步证明我们提出模型的有效性。

    讨论

    为了验证我们提出方法的有效性,我们首先在5.1节讨论了模型中不同模式的重要性。接下来,在5.2节中,我们进行了参数敏感性实验,并分别讨论了模型中几个重要参数对实验的影响。在5.3节中,我们研究了4.3节中提到的权重共享策略。此外,在5.4节和5.5节中,我们进行了案例研究和可视化分析。

    结论

    在本文中,我们提出了一种基于RWKV的多模态级联融合模型MMCGR,用于ERC任务。MMCGR利用RWKV计算模态内和模态间的注意力,结合参数共享策略来节省资源并降低过拟合的风险。该方法旨在模拟模态内部和跨模态的交互,通过级联门控融合机制整合多模态信息,以实现全面的特征表示。

    作者贡献声明

    何波:撰写——审稿与编辑、验证、监督、项目管理、方法论、资金获取、形式分析。韩浩:撰写——审稿与编辑、原始草稿撰写、可视化、软件、资源、方法论、调查、数据整理。赵若宇:撰写——审稿与编辑、验证、监督、方法论、概念化。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

    致谢

    本工作部分得到了教育部人文与社会科学研究项目(编号24YJA870003)的支持。我们感谢所有匿名审稿人的宝贵意见。
    何波,副教授,硕士导师。他是重庆理工大学计算机科学与工程学院的教员。研究领域:数据挖掘;大数据;智能信息推荐。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号