多模态方面级情感分析中的频域增强与不确定性感知融合框架

《International Journal of Approximate Reasoning》:Frequency-Domain Enhancement and Uncertainty-Aware Fusion Framework for Multimodal Aspect-Based Sentiment Analysis

【字体: 大 中 小 】 时间:2026年09月26日 来源:International Journal of Approximate Reasoning 2.8

编辑推荐:

   •通过在视觉模块中引入多通道频域特征建模,提出FEUA,并输出频域可靠性分数以量化真实后处理(如滤镜和压缩)导致的图像质量变化,从而减少误导性的视觉线索。•设计了一种不确定性感知的跨模态融合机制,使用温度缩放的预测熵来估计每种模态的置信度,并结合频域可靠性分数在样本级别动态重

  
  • •
    通过在视觉模块中引入多通道频域特征建模,提出FEUA,并输出频域可靠性分数以量化真实后处理(如滤镜和压缩)导致的图像质量变化,从而减少误导性的视觉线索。
  • •
    设计了一种不确定性感知的跨模态融合机制,使用温度缩放的预测熵来估计每种模态的置信度,并结合频域可靠性分数在样本级别动态重新加权文本和视觉证据。
  • •
    在训练期间引入频域数据增强(如FMix频谱混合和幅值频谱扰动)以提高对真实图像退化的鲁棒性,在Twitter-2015和Twitter-2017上取得了显著的Acc和Macro-F1提升。

引言

随着移动互联网和新兴社交媒体平台的发展,用户经常在Twitter等平台上发布包含文本和图像的内容。因此,识别用户对特定对象或方面的态度已成为情感分析中的一个重要问题[1]。方面级情感分析专注于确定给定方面的态度极性。早期研究主要从产品和服务评论中挖掘产品相关的意见并进行结构化聚合,为细粒度情感分析奠定了基础[2]。随后,SemEval统一了方面定义和评估指标,使得不同方法能够在共享基准上进行比较[3]。近年来,研究人员提出了各种模型来定位方面相关的情感线索并提高预测性能,例如交互式注意力网络[4]和融合常识知识的注意力模型[5],推动了纯文本场景的持续发展。然而,社交媒体上的情感表达往往依赖于文本和图像,仅靠文本信息可能无法捕获所有情感线索。因此,多模态方面级情感分析应运而生,通过联合建模文本和图像来预测给定方面的态度极性[6]、[7]。最近的综述指出,现有方法通常依赖预训练语言模型和视觉编码器,并通过跨模态注意力、门控或辅助任务建立方面与两种模态之间的联系。尽管如此,在图像噪声处理和模态置信度建模方面仍存在局限性[8]。一些代表性工作进一步指出,当图文信息不一致或图像质量不稳定时,模型应显式建模图文相关性以及视觉证据的可靠性,并在决策过程中自适应地调整两种模态的贡献[9]、[10]。
本文关注多模态方面级情感分类(MASC)任务,并根据真实社交媒体场景总结了当前方法在复杂图文环境中的研究空白。
现有的MABSA模型主要依赖基于卷积或Transformer的视觉编码器来提取图像语义特征,并专注于在融合阶段建模图文关联,但很少显式评估图像可靠性[11]、[12]。然而,社交媒体图像经常受到滤镜、美化、压缩和反复转发的影响,这可能会削弱高频细节、改变方向性纹理并引入误导性的伪影。在频域中,这些退化通常表现为高频能量衰减和频率带分布不平衡,这为识别图像处理和图像质量退化提供了有用的线索[13]、[14]。如图1(a)所示,推文"戴夫·葛瑞特的《2U》单曲封面艺术作品,由贾斯汀·比伯出演。本周五6月9日发行。"包含方面"Justin Bieber"。尽管图像色彩鲜艳、视觉冲击力强,这可能诱导正面预测,但真实情感标签为中性的。频谱中规则的垂直和水平条纹、几乎为空的环形高频箱以及高度规则的方向扇区分布表明存在强烈的滤镜和色彩编辑,使得图像作为情感证据的可靠性较低。除了图像可靠性之外,另一个关键挑战在于跨模态融合。大多数现有方法采用特征拼接、注意力或门控[15]、[16],而只有少数将图像质量或多视图信息纳入融合策略[17]。尽管一些研究通过图像质量或跨模态一致性建模数据不确定性[18],不确定性感知损失也在计算机视觉中进行了探索[19],但这些方法要么关注样本级不确定性,要么仅限于单模态视觉任务。它们没有显式区分文本和视觉模态的置信度,也没有使用频域信息来估计图像可靠性。例如,在图1(b)中,推文"杰克·保罗如何改变网红游戏:"为方面Jake Paul提供的文本情感线索有限,而图像通过舞台灯光和面部表情提供了明确的正面证据。其频域能量从低频到高频平滑衰减,径向和方向分布更加均衡,表明视觉可靠性较高。因此,理想的MABSA模型应在视觉证据具有误导性时降低不可靠图像的权重,而在文本情感较弱时增加可靠图像的贡献。此外,社交媒体文本通常简短、隐晦或意见表达较弱,仅从文本中推断方面级情感非常困难。为了缓解这种歧义,我们引入了两个辅助的文本化视觉线索,即图像标题和面部描述,它们提供了互补的场景级语义和细粒度的情感信息。最后,现有数据增强策略主要依赖空间变换,如随机裁剪、翻转和颜色扰动[20],这些方法对频谱结构的影响有限,无法充分覆盖滤镜、反复压缩、模糊和噪声注入引起的频域变化。尽管FMix[21]等混合样本增强方法通过在傅里叶空间采样低频掩码来构建更丰富的训练分布,但频域增强策略在MABSA中仍然相对探索不足,很少针对社交媒体典型图像退化进行设计。
为了解决上述问题,我们提出了FEUA,一个频域增强与不确定性感知融合框架。首先,通过傅里叶变换将图像中的高频细节、方向性纹理和颜色相关性编码为频域特征。然后根据这些特征计算频域可靠性分数,以评估滤镜、美化和压缩对图像可靠性的影响。其次,该框架对文本和视觉分支的概率分布分别应用温度缩放进行校准,并使用预测熵估计两种模态的置信度。然后结合频域可靠性分数在模态级别动态调整融合权重,实现样本级别的细粒度模态选择和噪声抑制融合。最后,为了确保频域特征和可靠性估计在真实社交媒体图像的频域分布偏移下保持稳定有效,在训练期间使用频谱混合和幅值频谱扰动来模拟多种类型的滤镜和噪声,从而提高模型在图像操纵和质量退化场景中的鲁棒性。本文的主要贡献总结如下:
(1) 我们将频域特征建模和频域数据增强引入MABSA任务。提取多通道频域特征来表征图像可靠性,并通过频谱混合和幅值频谱扰动的联合增强训练来提高频域建模的稳定性。
(2) 我们提出了一种不确定性感知的跨模态融合机制。使用预测熵估计文本模态和视觉模态的置信度,并结合频域可靠性分数和门控在样本级别自适应调整融合权重,从而抑制受强烈滤镜和压缩噪声影响的低质量图像在情感决策中的干扰。
(3) 我们在两个公共基准数据集Twitter-2015和Twitter-2017上进行了全面的实验。结果表明,FEUA提高了Acc和Macro-F1,证明了我们的框架对MABSA任务的有效性。
本文其余部分组织如下。第2节简要回顾了相关工作。第3节介绍了所提出的方法论。第4节展示了数据集、实验设置、实验结果和相关讨论。最后,第5节总结全文。

章节摘要

方面级情感分析

在方面级情感分析(ABSA)中,深度学习方法已从基于注意力和记忆的语义建模发展到句法图建模和统一的端到端框架。Tang等人提出了一种深度记忆网络,通过多层外部记忆显式建模上下文词与目标方面之间的相关性,建立了基于注意力和记忆结构的方面级情感建模范式[22]。在此基础上,Chen等人

方法论

在本节中,我们首先对多模态方面级情感分析(MABSA)任务进行形式化定义。然后概述所提出的频域增强与不确定性感知融合框架(FEUA)。最后详细介绍FEUA的每个组件。
任务形式化:给定一个多模态社交媒体帖子P=(T,A,I),其中T是推文,A是方面,I是对应推文的图像,我们的目标是预测的情感极性y的

实验

本节在两个公共基准数据集上评估所提出的FEUA框架。我们报告主要比较结果、消融研究、不确定性建模分析、频域可靠性分析、校准评估、参数研究、鲁棒性评估、可视化和案例分析。

结论与未来工作

本文提出了FEUA,一个用于多模态方面级情感分析的频域增强与不确定性感知融合框架。FEUA引入多通道频域特征来增强视觉表示并估计图像可靠性。它进一步将温度缩放的预测熵与频域可靠性分数相结合,在样本级别调整文本和图像融合权重。此外,在训练期间使用FMix和幅值频谱扰动

CRediT作者贡献声明

Yuanyuan Li:概念构思。Yang Zheng:撰写-审阅与编辑、撰写-初稿、可视化、软件、资源、方法论、正式分析。Tangchao Wu:数据整理。Dongyan Li:数据整理。Wenjie Zhou:数据整理。Dong Wang:数据整理。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所报告的工作。
Yuanyuan Li|Yang Zheng|Tangchao Wu|Dongyan Li|Wenjie Zhou|Dong Wang
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号