利用动态模糊隶属度与注意力融合提升多模态情感识别能力

《Engineering Applications of Artificial Intelligence》:Enhancing multimodal emotion recognition with dynamic fuzzy membership and attention fusion

【字体: 大 中 小 】 时间:2025年12月06日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

  阮如明|阮忠明|阮清忠|陈芳南|范日庄|黎玲|爱丽丝·奥斯马尼|阿卜杜勒莫塔莱布·埃尔·萨迪克|邓玉明 越南胡志明市71320,唐仁富区,西贡高科技园D1街,FPT大学计算基础系AiTA实验室 摘要 多模态学习已被证明能够提升语音情感识别中的分类效果。尽管具有这一优

  阮如明|阮忠明|阮清忠|陈芳南|范日庄|黎玲|爱丽丝·奥斯马尼|阿卜杜勒莫塔莱布·埃尔·萨迪克|邓玉明
越南胡志明市71320,唐仁富区,西贡高科技园D1街,FPT大学计算基础系AiTA实验室

摘要
多模态学习已被证明能够提升语音情感识别中的分类效果。尽管具有这一优势,但语音情感识别中的多模态方法仍面临诸多挑战,包括对不确定性的抗性不足、难以在不同情感场景下泛化,以及整合不同类型模态时的效率问题。为克服这些限制,我们提出了一种名为FleSER的多模态情感识别架构,该架构利用动态模糊隶属度与基于注意力的融合机制。与大多数在决策层面应用模糊逻辑的现有研究不同,FleSER引入了基于特征的、规则驱动的动态模糊隶属度机制,在融合之前自适应地优化各模态的特征表示。FleSER架构同时运用音频和文本模态,并通过自模态注意力机制与跨模态注意力机制以及α插值方法,捕捉互补的情感线索。基于α插值的特征融合机制能够根据不同场景自适应地强调更具信息量的模态,从而实现稳健的多模态整合。这种全面的设计提升了识别精度。我们在多个基准数据集上对FleSER进行了测试,其性能优于现有的最先进方法,展现了更出色的情感识别效果。消融实验进一步验证了各个关键组件的有效性,包括单模态与多模态输入的效果、模糊隶属度函数、融合策略以及投影维度对FleSER架构性能的影响。

引言
情感是对外部事件或刺激的复杂且主观的反应。人们通过多种方式表达情感,包括文字、语言、面部表情和肢体语言(Ekman, 1994; Schoneveld等, 2021)。其中,语言是最直接、自然且易于获取的表达情感的媒介之一。与机器进行自然的语言交流的需求推动了相关技术的快速发展(Cox等, 2000)。从语音信号中识别情感在在线教育、心理健康管理以及车载通信系统中具有实际应用价值(Zepf等, 2020; Bathula等, 2024)。语音情感识别对于实现人机情感互动、推动情感计算领域的发展至关重要(Madanian等, 2023)。由于其广泛的应用前景,语音情感识别已成为语音处理领域的重要研究方向,涵盖心理健康监测(Elsayed等, 2022; Rejaibi等, 2022)、个人语音助手(Chatterjee等, 2021)以及用户行为分析(Kamaruddin和Wahab, 2010)等多个方面。语音情感识别的首要目标是将人类语言分类到预先设定的情感类别中(Khan等, 2024)。

为提升语音情感识别系统的性能,人们提出了多种方法。例如,Tran等人(2023b)研究了多种损失函数在多模态情感识别中的应用,包括交叉熵损失、中心损失、对比中心损失及其组合。他们的深入比较表明,交叉熵损失与对比中心损失的组合在多模态情感识别中能取得优异性能。Ghosh等人(2023)提出了用于语音情感识别的多模态多任务学习框架MMER,该框架充分利用多模态特性与多任务目标。MMER采用独特的多模态网络,结合早期融合与跨模态自注意力机制,有效整合文本与声学模态信息。Chen等人(2025)也采用了多任务学习方法,通过同时训练多个相关任务并通过联合损失函数共享信息来提升识别精度。他们使用预训练的Waveform-to-Vector(Wav2Vec 2.0)模型对音频进行编码,然后与语音情感识别及非自动语音识别功能并行处理。此外,该预训练模型还承担三项新的辅助任务,以进一步提升从语音内容中识别情感的能力。尽管取得了这些进展,当前的多模态语音情感识别系统仍存在计算成本过高的问题。为解决这一问题,研究人员探索了轻量级模型以提高效率。例如,Nguyen等人(2024)在Tran等人(2023a)提出的架构基础上,利用知识蒸馏技术降低了计算成本。而早期融合与跨模态自注意力等多模态整合方法往往会导致较高的计算复杂度,使得这些模型资源消耗大,不太适合实时应用。

为应对这些挑战,研究人员还探索了其他方法,比如模糊逻辑,它为处理情感识别中的不确定性提供了灵活的框架(Do等, 2024)。模糊逻辑的优势在于能够在传统分类模型可能失效的嘈杂环境中实现稳健的决策制定,尤其在多模态情感识别领域表现突出。通过有效处理模糊或矛盾的情感线索,模糊逻辑提升了现实应用中情感识别的可靠性(Wang等, 2025)。此外,模糊逻辑支持可解释的规则驱动式处理,使专家能够定义用于情感分类的语言规则,从而使决策过程比深度学习的黑箱模型更为透明(Liu等, 2024a)。然而,多模态情感识别仍面临诸多挑战,需要创新解决方案。第一个挑战是人类情感往往存在重叠,边界不清,难以将其分类为独立的类别(Kozlov等, 2024)。虽然模糊逻辑能够实现情感之间的渐变过渡,但对于那些无法完全归入预定义类别的复杂情感状态,它仍然难以处理。第二个挑战是模糊逻辑模型由于仅使用有限的情感类别,可能无法完全捕捉人类情感的深度与细微差别(Kozlov等, 2024)。另一个挑战是将模糊逻辑与深度学习模型结合时,会增加计算复杂度,使得大规模应用需要更多的资源,并且还需要进一步优化。此外,隶属度函数与模糊规则的效能在很大程度上依赖于专家知识,这不仅耗时,而且增加计算成本(Do等, 2024)。

尽管不断有新进展,但目前最先进的多模态语音情感识别系统仍存在三个关键局限,影响了其在现实场景中的应用效果。首先,性能存在饱和现象,顶级模型在Emotion Speech Dataset(ESD)上的准确率低于90%(Zhou等, 2022),在Interactive Emotional Dyadic Motion Capture Database(IEMOCAP)上的准确率则低于78%(Busso等, 2008),这反映出其在处理不同情感与语言变化时的泛化能力有限。其次,现有方法往往未能充分利用强大的预训练编码器,如Transformer模型的双向编码器表示BERT(Kenton和Toutanova, 2019)、经过优化训练的RoBERTa(Liu, 2019)以及Wav2Vec 2.0(Baevski等, 2020),因为这些编码器通常仅被作为静态模块或经过部分微调使用,无法捕捉特定任务所需的情感细节。第三,大多数融合策略较为僵化且不透明,既无法根据上下文进行调整,也无法实现模态整合的可解释性(Nguyen等, 2026)。为克服这些局限,我们提出了FleSER——一种灵活高效的语音情感识别架构,它将基于规则的模糊隶属度机制与基于α插值的注意力融合机制相结合。这种设计能够根据统计特性与任务相关性,自适应地转换各模态的特定特征,从而提升系统捕捉细微且重叠的情感线索的能力。通过以情境感知的方式动态调整特征权重并融合音频与文本表示,FleSER实现了更高的准确率、更强的抗噪声能力,以及在更多场景下的良好泛化能力。该模型为克服现有语音情感识别方法的局限性提供了一种可扩展且有效的解决方案。

如图1所示,FleSER框架首先对原始输入数据进行编码,将其投影到共享的表示空间中,以便整合不同的模态信息。接下来,动态模糊隶属度模块能够捕捉特征空间中的不确定性与变化性,使模型能够自适应地调整不同模态的贡献程度。之后,通过基于注意力的融合机制整合优化后的特征,该机制通过α插值策略进一步细化自模态与跨模态之间的交互。最后,将整合后的联合表示传递给轻量级分类器,从而得出预测的情感类别。与传统基于模糊逻辑的语音情感识别框架相比,FleSER的优势在于它采用了基于特征的、规则驱动的动态模糊隶属度机制,在融合之前对模态特征进行转换,从而实现自适应权重调整,并更精准地呈现情感线索。FleSER的输入模态为语音与文本:语音能够传达韵律与副语言特征,如语调、音高和强度,这些特征能够反映情感状态;而文本则提供对话内容的语义与上下文信息。这种模块化设计不仅提升了模型的可解释性,还提高了效率,因此FleSER非常适合用于现实世界中的多模态情感识别任务。

我们的主要贡献如下:
• FleSER模型引入了一种针对输入数据统计特性的动态模糊隶属度函数。该机制通过适应不同的数据分布来优化特征表示,从而能够更稳健地处理线性与非线性模式。
• 我们提出了一种由α插值控制的动态加权特征融合机制,该机制能够自适应地强调文本或音频模态的重要性。这种方法使模型能够根据任务或数据上下文选择最相关的模态,从而实现更可靠且高效的多模态情感识别。
• 我们在三个基准数据集上对FleSER进行了测试,结果表明其性能优于现有方法。在IEMOCAP数据集上,FleSER的准确率比现有最先进方法高出1.91%;在ESD数据集上则高出6.37%,充分体现了其在提升不同数据集下情感识别精度方面的优势。
• 此外,我们还在这些基准数据集上进行了全面的消融实验,分析了单模态与多模态输入、模糊隶属度函数、融合策略以及投影维度等关键架构组件对FleSER性能的影响。

本文的其余结构如下:第2节回顾了多模态情感识别领域的相关工作,重点介绍了模糊系统、Transformer架构以及注意力机制方面的进展。第3节详细阐述了FleSER架构,包括用于文本与音频模态的基于Transformer的编码器、模糊隶属度机制以及特征融合方法。第4节介绍了实验设置、数据集详情以及评估指标。第5节展示了FleSER架构在所有数据集上的性能结果。此外,还通过消融实验分析了有效的单模态与多模态融合、模糊隶属度、特征融合以及投影维度等因素的影响。最后,第6节总结了本研究的主要发现、贡献以及未来在改进多模态情感识别方面的潜在方向。

相关研究
Chen等人(2020)提出了用于语音情感识别的双层模糊多随机森林模型,该模型解决了说话人差异性及特征依赖性等问题。该方法结合了个性化与非个性化特征,通过模糊C均值聚类(Bezdek等, 1984)将高维特征划分为子类,进而利用多随机森林提升分类性能。作者在中国科学院自动化研究所进行了实验验证。

方法论
FleSER的处理流程将文本与音频输入整合起来用于情感预测,如图2所示。流程首先是对输入数据进行预处理:文本通过Transformer编码器转换为数值编码,而音频编码器则经过部分微调以适配特定数据集,从而从语音信号中提取相关特征。随后,文本与音频的编码结果分别经过独立的投影层处理,以捕捉局部特征。

为了评估所提出的FleSER架构的性能,我们使用了三个广为人知的多模态情感识别数据集:IEMOCAP、ESD以及多模态情感线条数据集(MELD)。这些数据集在情感类别、说话人多样性以及数据时长等方面各有特点,有助于全面评估我们模型的性能。表2汇总了这些数据集的关键统计信息,包括情感类别数量、总话语数以及说话人数量等。

性能结果
在性能分析中,我们展示了在三个基准数据集—IEMOCAP、ESD和MELD—上的实验结果。评估过程中考虑了不同配置的文本Transformer编码器(BERT与RoBERTa)以及音频Transformer编码器(Wav2Vec 2.0与HuBERT)。我们对音频模型编码器进行了部分微调,以提高其在语音情感识别任务中的适应性与时效性。这种方法使我们能够在保留宝贵的预训练知识的同时,进一步优化模型,提升情感识别性能。

结论
在本研究中,我们提出了FleSER——一种全新的多模态情感识别框架,它将动态模糊隶属度函数与基于注意力的特征融合机制相结合。研究表明,该框架中的模糊隶属度功能在平滑数据特征方面表现良好。通过运用自模态与跨模态注意力机制,我们成功捕捉到了音频与文本特征之间的复杂关联,从而提升了情感分类的性能。在IEMOCAP、CRediT等三个基准数据集上的测试结果均证明了该框架的有效性。林乐:写作——审阅与编辑、验证、利益冲突声明。作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。致谢:此项工作是在尼特·张·范访问越南FPT大学AiTA实验室期间完成的。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号