综述:基于查询蒸馏和不对称融合的多模态情感分析

《Neurocomputing》:Multimodal sentiment analysis with query-based distillation and asymmetric fusion

【字体: 大 中 小 】 时间:2026年04月06日 来源:Neurocomputing 6.5

编辑推荐:

  多模态情感分析中提出QAF-NET模型,通过query-based distillation将长序列压缩为高密度摘要,结合不对称跨模态注意力机制,以文本为锚点精准对齐音视频特征,解决传统align-then-fuse范式的高计算成本和噪声敏感问题,在CMU-MOSI、CMU-MOSEI、AVEC2019等数据集上实现SOTA性能。

  
张翰|尚媛媛|刘铁|宋伟|刘静怡
首都师范大学信息工程学院,北京,100048,中国

摘要

多模态情感分析通过整合语言、音频和视频信号来解读人类情感。主要挑战在于浅层跨模态交互的普遍存在,这阻碍了深度和稳健特征整合的实现。这一挑战因处理完整长序列所需的高计算成本和噪声敏感性而变得更加复杂。为了解决这些问题,本研究提出了基于查询的非对称融合网络(QAF-NET),该网络基于一种新颖的“先提取再融合”范式设计。QAF-NET将融合的深度与计算复杂性分离,从而在保持效率的同时实现稳健的整合。网络首先使用一组可学习的查询将长序列提取为简洁的、固定大小的摘要向量。这种基于查询的提取充当信息瓶颈,减少了噪声和计算负担。随后,高质量的摘要作为探针,在非对称交叉注意力机制中与另一种模态的完整特征序列进行精确对齐。这一过程实现了传统方法经常忽略的显著跨模态对齐。在三个基准数据集(CMU-MOSI、CMU-MOSEI和AVEC2019)上的广泛实验表明,QAF-NET在大多数指标上均达到了领先性能。

引言

像TikTok和YouTube这样的社交媒体平台的快速发展导致了在线多模态数据的迅速增加。传统的短视频本质上整合了文本、音频和视觉元素。这种融合体现了人类交流的复杂性,它不仅传递了明确的意义,还通过语音语调、面部表情和肢体语言等非语言信号传达了微妙的情感。讽刺可能在表面上看起来是有利的,但它可能通过不一致的语调或手势传达出相反的含义。研究这些数据的情感内容在学术上具有重要意义,并在人机交互、医疗保健和自动驾驶等领域具有重要的实际应用。
多模态情感分析(MSA)作为一个关键研究领域应运而生,旨在通过整合语言、听觉和视觉输入来推断情感状态。MSA的核心挑战是有效融合这些模态的信息。这一挑战源于它们固有的多样性,因为每种模态都具有独特的结构、时间和统计属性。这种差异创造了复杂且动态的跨模态联系,每种模态的相对贡献取决于上下文。当代深度学习架构可以表示复杂的依赖关系,但它们通常会导致显著的计算开销和模型复杂性的增加[1]、[2]。
MSA的初步研究集中在设计显式的融合架构上,从旨在捕捉高阶多模态交互的基于张量的方法[3]到专注于学习解耦表示的方法[4]。此后,该领域逐渐形成了以Transformer为基础的交叉注意力机制,例如MulT[5]模型,成为主导范式。这一转变反过来又促进了注意力框架本身的创新,例如集成门控单元以抑制噪声[6]以及应用图神经网络来建模结构化的跨模态动态[7]。当前的研究正在沿着平行路径发展。一些人试图通过状态空间模型[8]等替代架构来克服Transformer在处理长序列时的计算效率问题。
现有范式在处理特征丰富性与噪声鲁棒性之间的权衡时仍存在根本性矛盾[9]、[10]。大多数主导方法,包括MulT[5]和TensorFormer[11],都遵循“先对齐再融合”的范式。这种技术在整个序列中执行全面的跨模态交互(L×L),隐含地假设每一帧都对情感有均匀的贡献。我们认为,对于未对齐的多模态流来说,这种假设是错误的,因为情感指标(例如突然的皱眉或音高变化)通常是稀疏且间歇性的。处理整个序列会导致二次方的处理开销,更重要的是,会使融合机制受到大量冗余和背景噪声的影响,可能掩盖微妙的情感信号并降低性能。
为了克服这些限制,我们提倡从“先对齐再融合”转向“先提取再融合”的方法论转变,这在我们的基于查询的非对称融合网络(QAF-NET)中得到了实现。我们的架构通过多视角注意力(MPA)模块引入了一个显式的信息瓶颈,而不是让融合模块处理未经处理的、含噪声的序列。MPA模块虽然受到通用感知器设计的影响[12],但它使用一组可学习的查询向量来提供稀疏性的结构先验。这种技术作为一个可训练的过滤器,在任何跨模态接触之前将长序列压缩为简洁的高密度摘要。此外,我们通过语义锚定方法重新组织了融合过程。鉴于语言在情感分析中的语义优势,我们使用非对称交叉注意力技术,其中文本作为锚点(查询),有效地查询压缩后的音视频摘要(键/值)。这种策略确保非语言模态为文本提供上下文,而不是被视为独立的、无关的预测因子。
我们的贡献可以总结如下:•
我们介绍了QAF-NET,这是一个实现创新“先提取再融合”范式的框架。该范式通过将融合深度与序列长度解耦,显著解决了经典“先对齐再融合”方法相关的噪声传播和计算效率问题。
  • •
    我们提出了多视角注意力(MPA)模块作为特定任务的信息瓶颈。通过应用可学习的查询,MPA将冗长的音视频流压缩为简洁的表示,同时减少与任务无关的背景噪声,保留重要的情感指标。
  • •
    我们设计了一种使用非对称交叉注意力的语义锚定融合方法。该模块利用压缩后的摘要作为上下文探针,在文本模态的指导下,实现深刻且稳健的跨模态对齐,避免冗余信息。
  • •
    在公共数据集CMU-MOSI、CMU-MOSEI和AVEC2019上的广泛实验表明,QAF-NET在关键指标上达到了领先或极具竞争力的性能,同时保持了模型的高效复杂性。这些结果突显了所提出的“先提取再融合”范式的有效性和实际价值。
  • 章节片段

    用于情感和情绪分析的多模态融合框架

    多模态情感分析(MSA)整合了文本、视觉和听觉模态,以实现稳健的情绪识别[13]。早期方法依赖于工程化的特征和分类器,如SVM[1]、[14]。然而,当前的研究转向了端到端的深度学习架构。最初的方法,如张量融合网络[3]和低秩多模态融合[15],使用张量操作来模拟交互。为了捕捉时间动态,还使用了循环神经网络

    整体架构

    我们提出的QAF-NET架构如图1(a)所示,实现了“先提取再融合”的范式。与将特征对齐和融合视为单一整体步骤的传统模型不同,QAF-NET将信息交互结构化为四个阶段:特征提取、基于查询的提取、非对称融合和分类。首先,使用专用的单模态编码器提取高级特征,我们使用RoBERTa[45]进行

    数据集

    我们在三个标准基准数据集上评估了我们的模型:CMU-MOSI[46]和CMU-MOSEI[47]用于多模态情感分析,AVEC 2019[48]用于抑郁严重程度估计。每个数据集的数据划分详细总结见表1。

    实验结果

    所提出的QAF-NET模型在三个基准数据集CMU-MOSI、CMU-MOSEI和AVEC 2019上进行了系统评估。为了比较,所提出的方法与几种代表性的先进方法进行了基准测试。详细结果分别列在表2、表3和表4中。
    在CMU-MOSI数据集上的多模态情感分析中,所提出的模型在主要的回归和二元分类指标上达到了领先性能。如表2所示

    定性分析和可视化

    我们提供了定性可视化结果,以补充表2和表3中报告的定量SOTA性能。本节提供了对QAF-NET内部机制的直观理解。我们首先检查了核心组件,包括MPA模块和非对称交叉注意力模块。然后,我们可视化了它们对最终特征空间的综合影响。最后,这些分析通过定性案例研究得到了具体支持。

    结论

    本文介绍了一个基于查询的非对称融合网络QAF-NET,旨在解决多模态情感分析中的融合深度和计算效率问题。所提出的方法遵循“先提取再融合”的范式。具体来说,多视角注意力(MPA)模块使用可学习的查询向量从每个单模态流中提取信息内容,同时抑制冗余噪声。然后将得到的紧凑摘要特征输入到深度模型中

    CRediT作者贡献声明

    张翰:写作——审阅与编辑,撰写原始草稿,验证,软件,资源,方法论。尚媛媛:写作——审阅与编辑,撰写原始草稿,验证,监督,项目管理,资金获取,概念化。刘铁:写作——审阅与编辑,验证,方法论。宋伟:写作——审阅与编辑,验证,方法论。刘静怡:验证,方法论,数据管理,概念化。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

    致谢

    本工作得到了国家自然科学基金(62476178)、北京市自然科学基金(4242034、L252009)以及西安交通大学的国家人机混合增强智能重点实验室(编号HMHAI-202407)的支持。
    张翰是首都师范大学的硕士研究生。他目前就职于首都师范大学的智能识别与图像处理实验室。2024年,他从合肥大学获得了学士学位。他的研究兴趣包括多模态情感分析和深度学习。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号