基于多视角跨域层次化融合的多模态谣言检测

《Information》:Multimodal Rumor Detection via Multi-Perspective Cross-Domain Hierarchical Fusion

【字体: 大 中 小 】 时间:2026年08月28日 来源:Information 4.3

编辑推荐:

  近年来,社交媒体上谣言的传播呈指数级增长。现有方法主要集中于在单域数据集上训练模型,导致模型在跨域场景下的泛化能力有限。此外,多域谣言检测面临两个关键挑战:弥合异质域之间的语义鸿沟以及处理跨域的模态依赖关系。为解决上述问题,研究人员提出了一种专门用于多模态谣言

  
近年来,社交媒体上谣言的传播呈指数级增长。现有方法主要集中于在单域数据集上训练模型,导致模型在跨域场景下的泛化能力有限。此外,多域谣言检测面临两个关键挑战:弥合异质域之间的语义鸿沟以及处理跨域的模态依赖关系。为解决上述问题,研究人员提出了一种专门用于多模态谣言检测的多域感知网络(Multi-domain Aware Network,MDAN)。MDAN将自适应域嵌入与域自增强机制协同结合,以动态选择专家知识,同时引入多级知识融合模块,通过门控注意力网络分层整合域共享表示和域特定表示。这两种知识优化策略有效应对了上述挑战,显著提升了模型在多域检测场景中的鲁棒性。在两个公开数据集上进行的大量实验表明,MDAN在准确率和跨域泛化能力方面均优于现有最先进方法。
**《Information》论文解读:面向跨域场景的多模态谣言检测新框架——MDAN**

**一、研究背景与问题提出**

随着社交媒体平台的迅猛发展,多模态内容(如文本与图像)呈指数级增长,这一趋势显著增加了谣言检测任务的复杂度。谣言不仅可能危害国家安全与公共安全,还会造成严重的社会影响。因此,开发高效、鲁棒的多模态谣言检测方法具有重要的现实意义。近年来,研究者利用多模态融合技术,通过联合分析文本和视觉模态信息来提高检测准确率。

然而,现有的大多数多模态谣言检测方法主要聚焦于单域数据(例如仅针对社会事务或医疗健康领域的帖子)。真实社交网络上的内容往往跨越多个不同领域,导致在单域数据上训练的模型在跨域场景下性能显著下降。尽管近年来出现了一些多域检测方法,包括采用硬共享机制学习域特定与跨域知识、利用门控注意力网络的软共享机制,以及结合两种策略的混合机制,但现有方法仍然存在三方面关键局限性。第一,不同领域间存在语义差异。例如,技术领域的单词“Apple”通常指苹果公司及其产品,而在农业领域则指一种水果;类似的问题在图像中也存在。现有方法对这些跨域语义差异关注不足。第二,不同模态的注意力与依赖关系表现出领域特定的异质性。有的领域更依赖文本信息,有的领域则更依赖视觉信息,而混合场景需要联合分析图文一致性。现有方法在特征建模时未能充分处理模态贡献偏差。第三,跨域知识与领域特定知识在不同领域的贡献存在显著差异。现有方法往往只是简单拼接这两类表示,未能依据实际情况自适应地调整它们的作用。

**二、研究内容与核心结论**

针对上述问题,研究人员提出了一种新颖的端到端多域感知网络(MDAN),专门用于多模态谣言检测。该模型将文本、图像和多模态特征视为三种不同的视角,采用不同的预训练模型进行特征提取。为缓解跨域语义偏差,研究引入了域渐进式层次化提取网络,以学习增强的领域特定知识和自适应提取的跨域共享知识。随后,通过多级知识融合模块整合来自不同模态视角的领域知识,使模型能够自动关注每个领域所需的模态信息。此外,模型还自适应地平衡领域特定知识与跨域知识的权重,确保两者在不同领域中都能发挥最优作用。

在两个真实中文公开数据集(Weibo和Weibo-21)上的大量实验表明,MDAN在准确率、F1值以及AUC等评价指标上全面超越了现有的多域和多模态谣言检测基线方法,展现出卓越的跨域泛化能力和多模态判别能力。该研究为跨域多模态谣言检测提供了新的思路,相关成果发表于《Information》。

**三、主要关键技术方法概述**

研究人员构建的MDAN框架主要由三个核心模块构成。其一为多视角特征提取模块,分别利用预训练模型BERT提取文本特征、MAE提取图像特征以及CLIP提取图文对齐特征。其二为域感知模块,该模块基于改进的渐进式层次化网络,结合可学习的域嵌入与注意力机制,动态选择跨域共享专家和领域特定专家。其三为多级知识融合模块,这是一个基于Transformer架构的多视角多级知识深度融合网络(MV-MKDFT),通过初步融合和深度融合两个阶段,利用门控注意力机制层次化地整合域共享知识与域特定知识。实验中采用了公开的Weibo和Weibo-21数据集,样本被划分为九个领域,所有图像均按标准流程进行缩放和中心裁剪处理。

**四、研究结果**

**4.1. 性能分析(Performance Analysis)**

为回答研究问题1和2,研究人员在两个数据集上将MDAN与多域检测基线及多模态检测基线对比。结果显示,在Weibo数据集上,MDAN的总体F1值达到0.936,准确率为0.937,AUC为0.975,均优于MMoE、MoSE、EDDFN、MDFEND、M3FEND和MMDFEND等方法。在Weibo-21数据集上,MDAN的F1值为0.941,准确率为0.941,同样全面领先。尤其在军事领域子集上,模型取得了完美的F1分数1.000。

**4.2. 消融分析(Ablation Analysis)**

为验证各模块的有效性,研究人员设计了三个消融变体。实验结果表明,移除多级知识融合模块导致F1值在两个数据集上分别下降12.3%和9.8%,证明该模块对于整合三视角特征至关重要。移除残差连接输入增强导致F1值分别下降7.6%和6.2%,表明残差学习有助于领域特定特征优化。移除跨域知识聚合的影响因数据集而异:在不均衡的Weibo数据集上F1值下降11.1%,而在均衡的Weibo-21数据集上仅下降3.4%,说明跨域知识主要有助于缓解少数领域的数据稀缺问题。

**4.3. 超参数分析(Hyperparameter Analysis)**

研究人员考察了专家数量、损失聚合参数α和注意力头数三个关键超参数的影响。结果显示,专家数量设为6时模型性能最优。损失权重参数α设置在0.20时达到最佳平衡。注意力头数从1增加到4时性能提升,超过4头后性能下降,表明过多的注意力头会导致过参数化。

**4.4. 专家模型分析(Expert Model Analysis)**

针对专家选择策略,研究人员测试了TextCNN、LSTM和MLP作为文本专家,以及CNN和MLP作为视觉专家。结果验证了最终选定的TextCNN+CNN+MLP组合(分别对应文本、视觉和多模态专家)为最优配置,该组合在两个数据集上均取得最佳F1值。

**五、结论与讨论**

本文提出了一种新颖的端到端多模态谣言检测框架MDAN,该框架将可学习的域嵌入、注意力机制和残差连接集成到渐进式层次化网络中,以自适应地捕获领域特定知识与跨域不变模式。框架结合了具有自适应加权机制的多级知识融合模块,以协同异构模态表示并增强领域适应能力。在两个真实数据集上的大量实验验证了MDAN在跨域鲁棒性和多模态判别性方面优于现有最先进基线方法。

需要指出的是,该研究仍存在一些局限性:实验仅在两个中文多模态谣言数据集上进行,框架对其他语言、平台和文化背景的泛化能力有待进一步验证;框架依赖多个预训练编码器,增加了计算成本和硬件要求;此外,当前工作尚未充分探索更具挑战性的现实场景,如模态缺失、标注噪声和时域漂移等问题。上述方向将在未来工作中展开研究。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号