基于标签感知熵式分布对比对齐的多模态情感分析

《Entropy》:Label-Aware Entropic Distributional Contrastive Alignment for Multimodal Sentiment Analysis

【字体: 大 中 小 】 时间:2026年09月27日 来源:Entropy 2.1

编辑推荐:

  多模态情感分析整合文本、音频和视觉信号以推断情感状态。然而,跨模态共享的情感信息常与模态特有变异纠缠在一起,现有表征学习方法未能充分利用连续情感标签编码的关系。有效的跨视角对齐因此需要结构化表征以及能够捕获样本间情感关系的目标。研究人员提出一种标签感知分布对比

  
多模态情感分析整合文本、音频和视觉信号以推断情感状态。然而,跨模态共享的情感信息常与模态特有变异纠缠在一起,现有表征学习方法未能充分利用连续情感标签编码的关系。有效的跨视角对齐因此需要结构化表征以及能够捕获样本间情感关系的目标。研究人员提出一种标签感知分布对比对齐框架以满足这些需求。共享-私有表征学习将共同情感信息与模态特有线索分离。共享表征形成由共同文本参考引导的音频-文本和视觉-文本交互视角,而私有表征则为预测保留互补性线索。标签感知广义对比对齐-非平衡最优传输(Label-Aware GCA-UOT)通过批次级分布匹配对齐两组交互视角。熵式非平衡最优传输提供平滑灵活的耦合,标签感知目标则根据配对视角对应关系、情感强度邻近性和极性一致性指导匹配质量的分配。在CMU-MOSI、CMU-MOSEI和CH-SIMS上的实验表明,细粒度情感分类取得一致提升。该方法在每个数据集上将五类准确率(Acc-5)相较于最强基线提升了0.5–2.9个百分点,并在CMU-MOSI和CMU-MOSEI上取得了七类准确率(Acc-7)的最佳或并列最佳结果。
一、研究背景与现存问题
多模态情感分析旨在融合文本、音频和视觉信号来推断人类情感状态,相比纯文本分析,它能够利用言语内容、声学韵律和视觉行为中的互补线索。尽管已有大量研究在融合机制、表征学习和文本引导交互等方面取得了进展,但仍面临两个关键挑战。首先,不同模态在数据分布、时间结构和语义内容上存在显著差异,文本通常显式表达情感,而音频和视觉信号噪声更大、更依赖上下文。其次,现有的对比学习方法主要通过成对相似性或锚点式比较施加关系约束,虽然提供了有效的局部约束,但并未显式建模两组跨视角表征之间的联合匹配结构,也难以充分挖掘连续情感标签所编码的样本间序数关系。这些局限导致细粒度情感强度区分能力不足,因此有必要引入一种既能组织结构化表征、又能利用标签关系进行全局对齐的新方法。
二、研究内容与结论
研究人员提出了一种结合共享-私有表征学习、文本引导交互和标签感知分布对比对齐的框架,用于细粒度多模态情感预测。在CMU-MOSI、CMU-MOSEI和CH-SIMS三个基准数据集上的实验表明,该方法在五类准确率和七类准确率等细粒度分类指标上取得了一致且显著的提升,同时在回归和二分类指标上保持了竞争力。该工作的意义在于,首次将连续情感标签作为目标传输分布的构建依据,将标签监督从个体预测扩展至跨视角表征集的整体匹配结构,为处理有序标注任务提供了新的范式。
三、关键技术方法
研究人员采用了以下主要技术方法:
  1. 1.
    共享-私有表征学习:为每个模态分别设置共享编码器和私有编码器,并通过正交解耦损失减少两者间的冗余关联,使共享表征聚焦于跨模态一致的语义信息,私有表征保留互补的模态特有线索。
  2. 2.
    文本引导跨模态编码器(TGCE):借鉴MulT的方向性交叉注意力机制,以共享文本表征作为查询的键和值,分别精炼共享音频和视觉表征,生成音频-文本和视觉-文本两种交互视角。
  3. 3.
    标签感知广义对比对齐-非平衡最优传输(LA-GCA-UOT):在GCA-UOT的基础上,利用连续情感标签构造目标传输分布。该目标结合了配对视角对应、基于标签距离的软邻域权重以及负/非负极性掩码,通过熵正则化和边际松弛的非平衡最优传输学习批次级的跨视角匹配结构。
四、研究结果
4.1 与最先进方法的比较
在CMU-MOSI上,该方法取得最低平均绝对误差0.708和最高五类准确率55.4%,七类准确率47.3%和二分类准确率85.8%均为并列最佳。在CMU-MOSEI上,五类准确率、七类准确率、二分类准确率和F1分数均达到最高,分别为56.7%、54.8%、86.3%和86.2%。在CH-SIMS上,所有报告指标均为最佳,平均绝对误差降至0.405,五类准确率提升至42.8%。
4.2 结构消融实验
移除共享-私有解耦、文本引导跨模态编码器或对比学习分支后,在CMU-MOSI和CMU-MOSEI上多数指标下降,在CH-SIMS上五类准确率分别降至40.8%、40.5%和40.8%,证实了各组件对细粒度分类的贡献。
4.3 模态输入消融
遮蔽文本输入导致性能下降最大,遮蔽音频或视觉输入也造成一定下降,表明三者均有贡献。移除私有表征在CMU-MOSI上全面降低性能,在CMU-MOSEI上七类准确率、二分类准确率和F1分数下降,说明私有表征补充了有用的情感线索。
4.4 标签感知广义对比对齐-非平衡最优传输组件分析
移除配对损失、软分布损失、标签感知关系或极性掩码后,在CH-SIMS上五类准确率分别降至40.0%、40.6%、40.2%和41.6%,支持了四个组件的协同作用。
4.5 不同对比目标比较
与无对比学习、距离感知对比学习和原始广义对比对齐-非平衡最优传输相比,标签感知广义对比对齐-非平衡最优传输在所有六个报告指标上均表现最佳,证明了其有效性。
4.6 超参数敏感性
在CMU-MOSEI上,默认设置下非配对关系权重为0.1、带宽为0.04时效果最好。带宽较小(0.02)时相关系数略高,但分类指标较低。
4.7 训练标签噪声敏感性
在噪声标准差0.15(归一化尺度)下,完整模型仍优于去除标签感知关系的变体,平均绝对误差低0.0116,五类准确率高1.43个百分点;在噪声标准差0.30下优势消失。
4.8 关系计算范围敏感性
在固定批次大小64下,全批次关系计算(范围64)在所有指标上优于分组计算(16或32)。
4.9 批次邻域质量敏感性
在目标2%邻域质量降低策略下,完整模型在所有四个报告指标上均优于去除标签感知关系的变体;在固定预算交换策略下,分类优势消失。
4.10 可视化分析
热图显示优化后跨视角传输分布在配对位置和标签相邻区域更为集中。t-SNE可视化表明训练后音频-文本和视觉-文本表征按情感强度形成了更清晰的聚类结构。
五、讨论与结论
讨论部分指出,有效的多模态情感学习既依赖于跨模态交互,也依赖于被交换表征的结构化组织。共享-私有分解决定了哪些信息进入交互阶段、哪些直接用于预测。标签感知分布对齐将连续标注转化为整个批次的关系统筹,熵式非平衡最优传输提供了灵活的学习机制。局限性包括:对标注可靠性敏感,强噪声下额外收益消失;批次组成影响邻域质量;极性掩码采用硬切分,可探索分级权重;文本引导交互依赖于文本语义参考的质量。
研究结论:研究人员提出了一个结合共享-私有表征学习、文本引导交互和广义对比对齐-非平衡最优传输的细粒度多模态情感预测框架。共享表征形成音频-文本和视觉-文本交互视角,私有表征保留互补线索用于预测。方法扩展在于从连续标签导出的目标传输分布,通过结合配对对应、情感强度邻近性和极性一致性,将分级情感关系引入跨视角分布对齐。在CMU-MOSI、CMU-MOSEI和CH-SIMS上的实验支持该框架的有效性,最一致的提升体现在细粒度情感分类上。消融研究显示了表征分解、文本引导跨模态编码器、私有线索、标签感知关系和极性掩码的贡献,同时也揭示了数据集依赖的权衡。可视化提供了跨视角匹配更有结构、情感组织更清晰的补充证据。未来工作将研究可靠性感知对齐,通过估计音频-文本和视觉-文本视图的置信度并将其融入传输耦合,以减少不完美输入条件下噪声或冲突模态信息的影响。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号