在多模态情感分析中弥合模态差异:一种基于自监督的文本引导融合方法

《Expert Systems with Applications》:Bridging modal gaps in multimodal sentiment analysis: a self-supervised text-guided fusion approach

【字体: 大 中 小 】 时间:2025年12月30日 来源:Expert Systems with Applications 7.5

编辑推荐:

  多模态情感分析框架通过动态文本引导融合、无模态表示学习与多任务协作学习模块,解决模态贡献不均和缺乏无模态标注的问题,在多个数据集上验证优于现有方法。

  
钟和鹏|易继正|胡荣龙|陈爱斌|韩广杰
中南林业科技大学电子信息与物理学院,中国长沙410004

摘要

多模态情感分析旨在从文本、声音和视觉等异构来源中推断情感。现有方法通常存在模态贡献不平衡和单模态监督不足的问题,这限制了模型的鲁棒性和可解释性。为了解决这些问题,我们提出了一个由三个互补模块组成的新框架:文本引导融合模块(TGFM)、单模态表示学习模块(URLM)和多任务协作学习(MTCL)框架。TGFM利用文本引导的多头注意力和跨模态对齐来动态平衡模态贡献并保持语义一致性。URLM捕获每种模态内的时间依赖性和全局上下文信息,生成更丰富、更具区分性的单模态表示。MTCL引入了一种基于理论的机制,通过结合中心相对距离约束和动量驱动的邻域平滑来生成稳定的单模态标签,即使在缺乏显式注释的情况下也能实现有效监督。这些模块共同构成了一个统一的闭环系统,既能缓解模态不平衡,又能弥补缺失的单模态标签。实验表明,该框架在情感强度预测方面显著优于现有最先进模型,提供了对情感表达的细致且具有上下文意识的洞察。源代码可在https://github.com/XiaoZzzhong/SETGF获取。

引言

多模态情感分析(MSA)试图通过联合建模文本、声音和视觉信息来解释人类情感(Fan等人,2024年)。尽管在基准数据集和模型架构方面取得了显著进展,但仍存在两个关键挑战(Xie等人,2024年)。首先,不同模态之间的固有异质性往往导致分布差距和贡献不均,从而削弱了多模态融合的效果(Zhu等人,2023a)。其次,实际场景中可靠的单模态监督数据稀缺,限制了跨模态协作学习,进而降低了模型的鲁棒性和可解释性。应对这些挑战需要一个能够平衡模态贡献并在缺乏显式单模态标签的情况下提供有效监督的统一框架。
传统的多模态融合方法通常在特征层或决策层进行操作。低阶融合方法可以捕捉低级特征之间的相关性,但往往无法建模细粒度的情感交互(Liu等人,2018年)。决策层融合策略(Debie等人,2019年),如对模态输出的加权平均,可能会丢失关键信息并低估跨模态依赖性。较新的表示学习技术试图分离共享和私有的模态表示以提高预测准确性(Hazarika等人,2020年;Yu等人,2021年)。然而,这些方法通常假设各模态的贡献是相等的,忽略了情感相关信息的固有不平衡分布。为了克服这些限制,提出了以文本为中心的融合策略(Wang等人,2022年),包括整合外部情感知识和语言引导的Transformer来增强文本指导(Zhu等人,2023b;Li等人,2023年)。尽管如此,这些方法仍不足以实现跨模态的全面和细粒度整合。同样,多任务学习也被用来促进跨模态知识转移(Chen等人,2022年;Akhtar等人,2019年),但这些框架严重依赖于昂贵的单模态注释,而在现实世界场景中这些注释往往不可用,这就提出了如何在没有显式标签的情况下实现有效监督的问题。
为了克服这些限制,受到模型驱动融合方法(Zhao等人,2025年;Chen等人,2025a)的启发,我们提出了一个包含三个互补组件的新多模态情感分析框架。文本引导融合模块利用以文本为中心的多头注意力和跨模态对齐来动态重新平衡模态贡献,同时保持语义一致性。单模态表示学习模块捕获时间依赖性和全局上下文信息,生成更丰富、更具区分性的单模态表示。多任务协作学习框架引入了一种基于中心的相对距离约束和动量驱动的邻域平滑的自监督机制,从而在缺乏显式注释的情况下实现有效监督。这些模块共同构成了一个统一的闭环系统,既能缓解模态不平衡,又能弥补缺失的单模态标签,如图1所示。多模态输入首先通过TGFM模块处理以生成集成多模态预测,而单模态输入则独立通过URLM模块处理以产生单模态结果。然后,这两种模态的预测结果共同输入到MTCL模块中以估计单模态标签。同时,这些标签被用于四个专门的子任务中进行联合学习,最终得出最终的情感极性预测。
在MOSI(Zadeh等人,2016年)、MOSEI(Zadeh等人,2018a)和SIMS(Yu等人,2020年)上的广泛实验表明,我们的框架在情感强度预测方面显著优于现有最先进方法,提供了对情感表达的细致且具有上下文意识的洞察。
本研究的贡献总结如下:
  • ●
    动态文本引导融合:我们提出了一种新的融合机制,不仅可以整合不同模态的信息,还可以根据任务需求动态重新平衡它们的贡献,有效解决了现有方法忽略的情感相关信息分布不均的问题。
  • ●
    增强型单模态表示学习:我们引入了一个单模态表示模块,同时建模时间动态和全局上下文,生成更丰富、更具区分性的表示,从而提高了后续多模态融合的鲁棒性。
  • ●
    自监督多任务协作学习:我们设计了一个具有自监督标签生成策略的多任务学习框架,利用中心相对距离约束和动量驱动的邻域平滑,从而在缺乏显式单模态标签的情况下实现有效监督。
  • ●
    统一的闭环框架:通过将TGFM、URLM和MTCL整合到一个连贯的系统中,我们的框架同时解决了模态不平衡和缺失单模态标签的问题,为MSA提供了全面的解决方案。
  • 相关工作

    相关工作

    为了将我们的工作置于现有研究的背景下,我们使用一个简洁的分类法组织了相关文献,突出了多模态情感分析的主要维度。图2中的概述总结了当前在融合设计、监督范式、鲁棒性考虑和使用基础模型方面的研究方向。这一结构为我们的方法提供了明确的背景。

    框架的总体架构

    所提出框架的总体架构如图3所示。首先,通过特定的特征提取器获得三种模态的初始表示ls< />s∈a< />t< />v,其中a< />t< />v分别表示声音、文本和视觉模态。这些特征随后被输入到TGFM和URLM模块中。TGFM模块通过在跨模态多头注意力框架内使用文本引导的查询来改善模态间的相关性。经过处理的特征

    实验

    本节详细描述了数据集、基线和实验设置。此外,还提供了包括定量评估、图形比较和基于可视化的解释在内的广泛实验分析,从而从多个角度展示了模型性能。

    结论

    在本文中,我们提出了一个全面的多任务学习框架,旨在通过解决模态融合、不同模态的贡献不均以及缺乏单模态标签等关键问题来改进MSA。我们的框架通过结合文本引导融合模块、单模态表示学习模块和多任务协作学习,证明了其在增强模态整合和促进跨任务可靠协同学习方面的有效性。

    未引用的参考文献

    Chen等人,2025年;Chen等人,2025年;Wang等人,2025年;Wang等人,2025年;Wang等人,2025年;Zadeh等人,2018年;Zadeh等人,2018年;Zhang等人,2024年;Zhang等人,2024年;Zhu等人,2023年;Zhu等人,2023年。

    CRediT作者贡献声明

    钟和鹏:概念化、方法论、软件、研究、撰写——原始草稿。易继正:撰写——审阅与编辑、方法论、资金获取。胡荣龙:概念化、方法论、软件。陈爱斌:撰写——审阅与编辑、方法论、资金获取。韩广杰:撰写——审阅与编辑、方法论、资金获取。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

    致谢

    本工作得到了以下资金的支持:湖南省研究生研究创新项目(CX20240692)和国家自然科学基金(6227075020)。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号