《Pattern Recognition Letters》:DHF-Net: Multimodal Fake News Detection via Dual-Path Hierarchical Feature Fusion
编辑推荐:
•DHF-Net 提出了一个用于多模态假新闻检测的双路径层次融合框架。•BERT-BiLSTM 捕获深层文本语义;VGG19 提取层次化视觉特征。•基于自注意力的特征级融合自适应地抑制噪声并突出关键信号。•通过拼接进行的句子级融合保留了全局跨模态语义关联。•DHF-Net 在
- •
DHF-Net 提出了一个用于多模态假新闻检测的双路径层次融合框架。
- •
BERT-BiLSTM 捕获深层文本语义;VGG19 提取层次化视觉特征。
- •
基于自注意力的特征级融合自适应地抑制噪声并突出关键信号。
- •
通过拼接进行的句子级融合保留了全局跨模态语义关联。
- •
DHF-Net 在 Twitter 和微博上分别达到了 92.8% 和 91.7% 的准确率,优于强基线方法。
引言
社交媒体的指数级增长从根本上改变了信息的创建、分享和消费方式。数十亿用户现在依赖在线平台作为其主要新闻和公共讨论来源,使这些生态系统既强大又脆弱。尽管这些平台使信息获取实现了民主化,但它们同时也降低了制作和传播欺骗性内容的门槛。特别是,多模态假新闻——将虚构或误导性的文本叙述与被操纵或在上下文中错误使用的图像进行战略性结合——已成为一种普遍的社会威胁。与仅包含文本的虚假信息相比,多模态假新闻利用语言和视觉刺激的联合说服力来增强感知可信度并最大化病毒式传播[1],从而对公众信任、社会凝聚力和知情的民主参与构成严重风险[2], [3]。现有的假新闻检测方法通常可以分为单模态和多模态方法。在单模态方面,基于文本的方法——包括基于 BERT 的模型[4]和 BiLSTM 网络[5]——在从文本内容中捕获深层语义表示方面展现出了相当大的能力。然而,从设计上看,此类方法对伴随图像中嵌入的丰富视觉信号视而不见,而这些图像通常作为识别欺骗意图的决定性证据。另一方面,基于图像的方法[6], [7]主要集中于检测视觉伪造或篡改痕迹,但仍无法建模文本描述与视觉证据之间产生的语义矛盾。最近的研究表明,假新闻经常涉及被操纵的图像或文本与视觉内容之间的语义不一致[8],这进一步凸显了任何单一模态视角在面对现实世界虚假信息的全部复杂性时的根本不足。
基于这些观察,近年来多模态假新闻检测引起了越来越多的研究兴趣。通过联合建模文本和视觉信息,多模态方法能够利用对单模态方法不可见的互补性跨模态线索。先驱性研究如 EANN[9]、MVAE[1] 和 SAFE[10] 已验证了整合异构模态以实现更稳健检测的潜力。尽管取得了这些进展,两个根本性的挑战仍然存在。现实世界中的多模态假新闻大致可分为两类。第一类是跨模态不一致,即文本和图像各自看似合理但语义矛盾(例如,一个曲解真实照片的说明文字);检测此类假新闻需要对两种模态进行细粒度的交互。第二类是单模态操纵而另一模态保持一致,即一种模态携带欺骗信号(被篡改的图像或编造的叙述),而另一种模态保持一致;检测此类假新闻需要保留每种模态的整体内容,而不是将它们纠缠在一起。这两种模式激发了我们的双路径设计:特征级分支通过注意力自适应地重新加权模态,适合捕获跨模态不一致;而句子级分支通过拼接并完整保留每种模态,更适合保留检测第二类假新闻所需的单模态线索。
为了应对这些局限性,我们提出了 DHF-Net,一个基于双路径融合策略的多模态假新闻检测框架。DHF-Net 使用 BERT-BiLSTM 从文本中提取上下文语义和序列表示,并使用 VGG19 从图像中学习层次化视觉特征。两个互补的融合机制并行运行:一个特征级模块使用自注意力自适应地对多模态特征进行加权,在抑制噪声的同时放大判别性信号;一个句子级模块直接拼接文本和视觉表示以保留全局语义关联。两条路径的输出独立分类,然后通过加权聚合进行最终预测。
主要贡献如下:
- 1.
我们提出了 DHF-Net,一个通过两种架构上截然不同的机制来建模跨模态互补性的双路径融合框架,提供了比单路径方法更彻底的多模态信息利用方式。
- 2.
我们设计了一个基于自注意力的特征级融合模块,自适应地对异构多模态特征进行加权,关注判别性信号的同时抑制噪声和冗余。
- 3.
我们引入了一个句子级融合模块,通过直接特征拼接来保留整体的跨模态语义关联,为检测细微的不一致性提供了互补的全局视角。
- 4.
在 Twitter 和微博数据集上的实验分别展现了 92.8% 和 91.7% 的准确率,优于有竞争力的基线方法,验证了所提出策略的有效性。
章节摘要
单模态假新闻检测
早期的假新闻检测研究主要集中在单模态分析上。基于文本的方法逐渐从基于手工设计特征的传统机器学习模型发展到深度学习方法。基于 CNN 的模型在捕获局部语义模式方面非常有效[12],而 BiLSTM 网络改进了对长程上下文依赖的建模[13]。最近,基于 BERT 的方法通过双向上下文编码进一步增强了文本表示学习
问题定义
设 为一个包含 N 个实例的多模态新闻数据集,其中每个实例 由文本组件 Ti 和视觉组件 Vi 组成。每个实例携带一个二元标签 yi ∈ {0, 1},其中 表示假新闻, 表示真实新闻。
任务是学习一个映射 f: (T, V) → y,从给定的新闻实例的联合文本和视觉内容中判断其真伪:
整体架构
如图 1 所示,DHF-Net 由三个组件组成:一个
数据集
我们在两个公开基准数据集 Twitter[23] 和微博[24] 上评估了 DHF-Net,如表 1 所示。Twitter 是 Boididou 等人(2015)的英文数据集;我们删除了少数无法访问图像的帖子及其配对的推文。微博 是 Jin 等人(2017)的中文数据集。对于两个数据集,我们都遵循了与数据集一起发布的官方预处理——因此 URL、提及和表情符号与官方划分保持一致——并且提供方已经执行了去重
结论
我们提出了 DHF-Net,一个具有双路径融合策略的多模态假新闻检测框架。它将 BERT-BiLSTM 用于文本和序列建模,与 VGG19 用于视觉特征,并通过两条互补的路径进行融合:一个使用自注意力自适应地对每种模态进行加权的特征级分支,以及一个通过拼接表示来保留全局语义的句子级分支。在 Twitter 和微博上的广泛实验,以及消融、集成、
CRediT 作者贡献声明
Qiumei Pu(邱梅): 写作 – 审阅与编辑,写作 – 原稿撰写,可视化,验证,指导,方法论,概念化。Jinlei Ming(明金磊): 写作 – 审阅与编辑,验证,软件,调查。Minchao Zhang(张民超): 写作 – 原稿撰写,形式化分析,数据整理。
利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系,这些利益或关系可能影响本论文所报告的工作。
致谢
作者感谢 Twitter 和微博数据集的创建者将其公开发布。
邱梅 | 明金磊 | 张民超