基于粒子群优化特征融合的增强型多模态Transformer框架用于讽刺检测

《Frontiers in Artificial Intelligence》:Enhanced multimodal transformer framework for sarcasm detection with particle swarm optimization based feature fusion

【字体: 大 中 小 】 时间:2026年10月22日 来源:Frontiers in Artificial Intelligence 6.7

编辑推荐:

  智能人机交互(Intelligent Human-Computer Interaction, HCI)在讽刺检测中具有关键地位,因为讽刺性话语可能蕴含与字面含义不同的意图。讽刺也难以被准确识别,因为它不仅体现在文本中,还体现在语音以及面部表情、肢体语言等视觉线

  
智能人机交互(Intelligent Human-Computer Interaction, HCI)在讽刺检测中具有关键地位,因为讽刺性话语可能蕴含与字面含义不同的意图。讽刺也难以被准确识别,因为它不仅体现在文本中,还体现在语音以及面部表情、肢体语言等视觉线索中。单模态讽刺检测方法通常受限于上下文歧义、对语境副语言线索不敏感,以及在某一模态存在噪声或不完整时性能下降等问题。这些问题可能导致不可预测的结果,并在真实对话场景中表现不佳。为克服上述缺陷,研究人员提出了一种融合不同模态的方法,利用音频、视频和文本等多模态线索,从不同沟通渠道获取互补信息。在文本表示方面,采用RoBERTa架构提取对话转写稿中深层的上下文和语义特征;采用HuBERT架构建模声学特征,其能有效表征讽刺性语音中与韵律和音调变化相关的语音表示;同时采用ViViT架构处理视觉数据,识别视频中面部表情和手势的空间与时间模式。随后,模态特定的特征表示通过基于粒子群优化(Particle Swarm Optimization, PSO)的融合策略进行组合,该策略通过最小化分类损失来确定最优的模态权重。融合后的表示经优化后,通过两层全连接分类器进行讽刺分类。研究人员在公开可用的MUStARD数据集上评估了所提出的框架,模型准确率达到94%,召回率、精确率和加权F1分数均等于0.94。对比评估还将所提出的PSO多模态融合模型与单模态模型以及注意力机制模型、图模型、生成方法、大语言模型/建模方法、对比学习方法等传统多模态融合模型进行比较,结果表明所提出的多模态融合框架在评估方法中取得了最高的加权F1分数。实验结果证明,基于优化的多模态融合方法相比单模态和传统融合技术能提升讽刺检测性能,表明其在对话式人工智能实际应用中的有效性。
一、研究背景与问题
讽刺检测在提升智能人机交互(Intelligent Human-Computer Interaction, HCI)系统性能方面具有重要作用,因为讽刺话语往往承载与字面含义相反的意义。日常对话中的讽刺常通过细微的语言信号、语调、面部表情和上下文知识来传达。对话式人工智能、虚拟助手、情感分析和社交媒体监测平台若能更好地理解用户的讽刺意图,便能提供更具上下文相关性和更拟人化的回应。讽刺作为一种修辞手法,要求听者通过语气判断含义,因此对任何智能系统而言,自动解读都极具挑战性。
然而,讽刺检测面临诸多困难。讽刺常基于面部表情、语气、肢体语言等暗示,或口语表达与预期解读之间的不一致。例如,“那真是个绝妙的主意”这句话仅从文本看可能呈现积极含义,但配合讽刺语气或适当面部表情时则传达相反意义。背景噪声、说话风格差异、光照条件以及说话者多样性等外部因素也增加了识别难度。传统单模态讽刺检测方法通常仅依赖文本、音频或视频中的单一模态。基于文本的方法强调词汇和上下文模式,却忽视声音语调和面部表情;基于音频的方法关注韵律和声学属性(音高、音调、能量),却无法理解语言语境;基于视频的方法检查面部表情和手势,但在遮挡、光照变化或面部可见度低的情况下可能失效。因此,单模态策略往往无法有效表征与讽刺交流相关的微妙信号。
现有深度学习和Transformer架构的发展虽显著增强了多模态学习系统捕捉复杂语义和上下文联系的能力,但许多现有系统采用固定组合规则,仅以固定权重结合各模态,无法根据各输入流的质量或重要性自适应调整模态贡献。针对这些不足,研究人员开展了本研究。
二、研究内容与结论
本研究提出了一种基于优化的多模态讽刺检测模型,结合声学、视觉和文本特征与先进深度学习模型。具体而言,采用RoBERTa从对话转写稿中提取文本上下文信息,采用HuBERT识别与讽刺语气相关的声学属性,采用ViViT学习视频序列的时空视觉特征。为有效拼接这些模态特定表示,提出了基于粒子群优化(Particle Swarm Optimization, PSO)的融合方法,通过最小化分类损失确定最优模态权重。优化后的特征表示输入两层全连接分类器获得最终讽刺预测。
该框架将多模态融合过程重构为优化问题,与依赖固定融合方法、注意力融合或图交互方法的现有方法不同。PSO融合策略通过最小化训练期间的验证分类损失自动优化文本、声学和视觉表示的贡献,无需学习调制贡献或使用预定义规则。该框架具有模型无关性,融合模块可附加到各种预训练编码器上而不改变其内部架构,为其他多模态情感计算应用提供了计算高效且易于迁移的解决方案。研究在公开的MUStARD数据集上评估了框架性能,该数据集包含文本、听觉和视觉信息。实验结果显示模型准确率达94%,召回率、精确率和加权F1分数均为0.94,优于单模态模型和注意力机制模型、图模型、生成方法、大语言模型/建模方法、对比学习方法等传统多模态融合方法。
三、关键技术方法
研究人员采用了三项核心编码器技术:其一,采用HuBERT自监督语音模型提取声学特征,该模型能捕捉讽刺性语音中细微的韵律和音调变化;其二,采用RoBERTa预训练语言模型处理文本转写稿,提取深层上下文语义表示,捕捉讽刺对话中的语义不一致和语境矛盾;其三,采用ViViT视频Transformer模型处理视频帧序列,捕捉面部表情和手势的时空模式。此外,提出了基于粒子群优化的自适应融合策略,通过全局优化自动分配各模态最优权重。实验基于MUStARD数据集,该数据集包含来自《老友记》《生活大爆炸》《黄金女郎》等电视情景喜剧的对齐视听片段和文本转写稿。
四、研究结果
3.1 音频模态(HuBERT模型):研究人员对音频信号进行预处理,包括转换为16kHz波形、幅度归一化、语音活动检测(Voice Activity Detector, VAD)去除静音和噪声、频谱滤波以及长度统一。采用在LibriSpeech上预训练的HuBERT-Base模型,在PyTorch和HuggingFace Transformers框架下微调于讽刺分类任务,生成768维上下文嵌入,通过平均池化获得固定长度话语表示,最终经softmax输出讽刺概率预测。
3.2 视频模态(ViViT模型):视频以25帧/秒(FPS)切分为帧序列,通过深度学习面部检测算法识别说话者面部区域,裁剪并缩放到224×224像素,采用直方图均衡化减少光照差异。ViViT-Base模型在PyTorch和HuggingFace Transformers框架下微调,输入片段以25帧/秒采样16帧,应用随机水平翻转和亮度变化等数据增强方法提高泛化能力。
3.3 文本模态(RoBERTa模型):文本预处理包括小写化、标点和分词等标准化步骤,但保留强调修饰词、否定词和上下文线索等对讽刺解读重要的元素。非正式表达和俚语通过词汇映射规则标准化,采用字节对编码(Byte Pair Encoding, BPE)子词分词处理稀有或未见词汇。上下文和话语通过特殊标记拼接后输入RoBERTa模型,利用自注意力机制捕捉上下文依赖关系,提取[CLS]标记的嵌入表示作为整个序列的聚合表征。
五、讨论与结论
研究将多模态融合过程重构为全局优化问题,PSO融合策略使框架能根据各模态的质量和判别能力动态调整其重要性,增强在噪声和不完整多模态场景下的鲁棒性。与传统注意力融合和图融合方法相比,该框架在保持低复杂度的同时更具鲁棒性。实验结果证明,基于优化的多模态融合方法相比单模态和传统融合技术能显著提升讽刺检测性能,表明其在对话式人工智能和情感计算实际应用中的有效性。通过结合先进Transformer架构和基于优化的多模态融合,所提出的系统提升了讽刺检测性能,有助于创建更具上下文感知能力的对话式人工智能和情感计算系统。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号