自适应原型与关系感知蒸馏算法在数据不完整的多模态情感分析中的应用
《Neurocomputing》:Adaptive prototype and relation-aware distillation for multimodal sentiment analysis with incomplete data
【字体:
大
中
小
】
时间:2026年03月29日
来源:Neurocomputing 6.5
编辑推荐:
多模态情感分析(MSA)通过整合异构模态数据提升情感理解,但缺失数据(如噪声、遮挡或转录错误)严重制约性能。现有方法多通过特征重建或样本级对齐处理缺失数据,但这些策略噪声敏感且易受错误特征干扰。本文提出自适应原型与关系感知蒸馏(APRD)框架,通过教师模型生成情感特异性原型作为平滑伪目标,避免样本级噪声匹配,增强情感表征学习。同时设计关系感知蒸馏机制,传递样本间相似性结构知识,并采用动态加权策略自适应平衡教师置信度与学生学习状态。实验表明,APRD在MOSI、MOSEI、SIMS数据集上MAE相对提升0.7%、1.9%、3.9%,相关系数分别提升1.3%、4.1%、18.4%,显著优于现有方法。
Xiyang Sun|Linkai Luo|Hong Peng
厦门大学自动化系,中国厦门,361005
摘要
多模态情感分析(MSA)旨在通过利用来自多种模态的数据来解释人类情感。然而,现实世界中的应用常常面临由于噪声、遮挡或转录错误导致的输入不完整问题,这显著影响了分析性能。尽管大多数现有方法通过重建或样本级对齐来处理不完整数据,但这些策略对噪声非常敏感,并且容易因特征恢复不准确而失效。为了解决这个问题,我们提出了自适应原型与关系感知蒸馏(APRD)框架,该框架专为不完整的多模态情感分析设计。APRD引入了由教师模型派生的特定情感原型,作为学生模型对齐的平滑伪目标。这种基于原型的策略避免了噪声样本级的匹配,并在不完整数据下增强了情感表示学习。此外,APRD采用了一种关系感知的蒸馏机制,将样本间的相似性结构从教师模型传递给学生模型,使学生模型能够捕捉到全局情感关系。动态加权方案通过自适应平衡教师模型的置信度和学生模型的学习状态来进一步优化蒸馏信号。在MOSI、MOSEI和SIMS这三个基准数据集上的广泛实验表明,APRD的表现始终优于现有方法,在平均绝对误差(MAE)上分别提高了0.7%、1.9%和3.9%,在相关系数上分别提高了1.3%、4.1%和18.4%。
引言
多模态数据流(例如音频、文本和视频)的整合已成为情感计算领域的研究重点,这一趋势受到人机交互系统和智能服务平台日益增长的需求的推动[1]、[2]。多模态情感分析能够理解用户需求,从而提高个性化程度和响应性。它在人机交互场景中有着广泛的应用,特别是在对话系统和推荐平台中[3]、[4]。
情感分析中最突出的挑战之一是数据的不完整性[5]、[6]。在实际的对话场景中,各种因素可能导致某些类型的数据缺失。例如,音频输入可能因背景噪声、传感器故障或录音质量差而受损[7]。文本信息可能受到自动语音识别(ASR)的限制,导致错误或内容丢失。同样,视觉数据,尤其是面部表情,可能因光线不足、运动模糊或遮挡而变得不可靠[8]、[9]。这种不完整的数据显著增加了情感分析的复杂性,并对情感识别系统的准确性和鲁棒性提出了巨大挑战。因此,解决输入不完整的问题已成为情感分析领域的一个关键研究方向[10]、[11]。
最近针对数据不完整性的方法探索了多种策略。TFRNet[12]利用特征重建来指导语义恢复。MVAE[8]提出了一个半监督生成模型来处理缺失的模态。MissModal[13]采用多约束对齐来近似完整模态的性能。TATE[14]引入了一种标签编码机制,能够适应性地关注缺失的模态。
尽管在不完整多模态情感分析领域取得了显著进展,但现有方法仍存在一些局限性。首先,当前的模型往往难以将语义内容与情感意图区分开来。多模态输入本质上同时编码了语义和情感线索。如果没有适当的区分,模型可能会将语义内容与情感意义混淆,尤其是在部分输入的情况下,因为缺失的模态会增加噪声或无关特征的风险,从而降低性能。其次,传统的知识蒸馏方法主要关注教师模型和学生模型之间的输出或中间表示的对齐。然而,这种僵化的对齐策略在处理不完整输入数据时常常忽略了学生模型的表示限制,导致知识传递效率低下和性能下降。此外,现有的蒸馏方法通常采用静态监督策略,对所有样本和训练阶段应用统一的指导[15]。这忽略了教师模型可靠性和学生模型学习难度在整个训练过程中的动态变化,从而限制了知识传递在复杂或噪声环境中的适应性和有效性。
为了解决这些挑战,我们提出了自适应原型与关系感知蒸馏(APRD)框架,该框架专为不完整的多模态情感分析设计。APRD包括两个关键组成部分。首先,我们提出了一种基于原型的蒸馏策略,该策略利用从教师模型派生的特定情感原型。这些原型是通过聚合情感相似样本的特征构建的,使学生模型能够进行基于标签的插值,并将其表示与平滑、去噪的原型目标对齐。这种方法避免了噪声样本级的匹配,并在不完整数据条件下增强了情感特征学习。其次,我们引入了一种关系感知的蒸馏机制,通过匹配教师模型和学生模型之间的样本间相似性关系来传递结构知识,使学生模型能够捕捉到超越单个预测的关系模式。此外,APRD还结合了动态加权方案,根据教师模型的置信度和学生模型的学习难度来调整蒸馏指导。随着训练的进行,这一过程逐渐从教师驱动的指导转变为学生主导的自我优化。
本研究的主要贡献如下:
•我们提出了APRD,这是一个专为不完整数据输入的多模态情感分析设计的新型知识蒸馏框架。
•我们引入了一种基于原型的策略,从教师模型构建情感表示中心,提供去噪的、结构化的指导,并实现平滑的、基于标签的监督,以传递情感知识。
•我们设计了一种动态关系感知蒸馏机制,能够捕捉样本间的结构相似性模式,并根据教师模型的置信度和学生模型的学习状态调整蒸馏强度,从而在整个训练过程中提高适应性。
•在三个基准数据集上的广泛实验表明,我们的方法达到了最先进的性能,并在不同缺失比例下保持了强大的鲁棒性。
本文的其余部分结构如下。第2节回顾了相关先前的工作。第3节介绍了我们提出的框架的详细信息。第4节描述了实验设置、实现细节和实验结果。最后,第5节总结了本文并讨论了未来的工作。
章节片段
多模态情感分析
多模态情感分析(MSA)已成为一个重要的研究前沿,旨在通过整合异构的多模态信号(包括声学、文本和视觉模态)来提高情感理解的准确性。以往的MSA方法大致可以分为两类主要范式:以表示学习为中心的方法和以多模态融合为中心的框架。
对于以表示学习为中心的方法,MISA[16]构建了
任务定义
在MSA任务中,输入由三元组表示:,对应于语言模态、声学模态和视觉模态。对于每个模态,表示其序列长度,表示相应的特征维度。
目标是学习一个函数,将多模态输入映射到一个统一的潜在表示空间,然后可用于下游的情感分析,包括回归和分类任务。
为了确保
数据集
我们的实验使用了三个公共数据集。这些数据集的详细介绍如下。
MOSI[35]是一个多模态情感分析的基准数据集。该语料库包含93个观点视频片段(2199个标注的发言段落),这些片段来自YouTube电影评论,包含了来自不同发言者的自发独白。情感评分采用连续尺度,从?3(强烈负面)到+3(强烈正面)。
MOSEI[36]是最全面的数据集之一
结论
在本文中,我们提出了APRD,这是一个专为不完整多模态情感分析设计的新型知识蒸馏框架。APRD的架构包括两个主要组成部分:基于原型的蒸馏模块和关系感知蒸馏模块。基于原型的模块利用从教师模型派生的特定情感原型,提供去噪的、基于标签的目标,使学生模型能够进行平滑的插值和对齐
CRediT作者贡献声明
Xiyang Sun:撰写——原始草稿、方法论、数据整理、概念化。Linkai Luo:撰写——审阅与编辑、可视化、验证、方法论。Hong Peng:验证、监督、方法论。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能会影响本文报告的工作。
致谢
本工作部分得到了中国国家自然科学基金(项目编号62171391)的支持。我们还要感谢厦门大学信息与网络中心的Shaorong Fang和Tianfu Wu在GPU计算方面提供的帮助。
Xiyang Sun目前是厦门大学自动化系的硕士研究生,他的研究兴趣包括深度学习和多模态情感分析。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号