混合解耦专家模型与缺失模态数据,以实现鲁棒的多模态情感分析

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:Mixture of Disentangled Experts with Missing Modalities for Robust Multimodal Sentiment Analysis

【字体: 大 中 小 】 时间:2026年05月24日 来源:TRENDS IN FOOD SCIENCE & TECHNOLOGY 15.4

编辑推荐:

  向丽|张晓明|苗德壮|程宪福|李大伟|韩宏贵|李周军摘要多模态情感分析(MSA)整合了多种模态来推断人类情感,但现实世界中的噪声常常导致数据缺失或损坏。然而,现有的特征解耦方法难以处理在数据缺失不确定性下的异构信息内部变化,这使得从质量下降的模态中学习有效的多模态表示变得困难。为

  
向丽|张晓明|苗德壮|程宪福|李大伟|韩宏贵|李周军

摘要

多模态情感分析(MSA)整合了多种模态来推断人类情感,但现实世界中的噪声常常导致数据缺失或损坏。然而,现有的特征解耦方法难以处理在数据缺失不确定性下的异构信息内部变化,这使得从质量下降的模态中学习有效的多模态表示变得困难。为了解决这个问题,我们提出了DERL(Disentangled Expert Representation Learning),这是一个用于鲁棒多模态情感分析的解耦专家表示学习框架。具体而言,DERL利用混合专家机制自适应地将多模态输入解耦为正交的私有表示空间和共享表示空间。此外,还开发了一种多层次重建策略以提供协作式监督,从而增强了学习到的表示的表达能力和鲁棒性。最后,解耦后的特征作为具有不同角色的模态专家,生成了考虑重要性的融合结果。在三个多模态情感分析基准测试上的广泛实验表明,DERL在各种模态缺失条件下均优于现有方法。例如,在CMU-MOSI数据集上,我们的方法在模态内部缺失的情况下将Acc-2指标提高了2.22%,并将MAE降低了2.25%。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号