MOSAIC:一种用于异构科学文档构建语义连贯多模态知识图谱的端到端框架

《Big Data and Cognitive Computing》:MOSAIC: A Multimodal Semantic-Oriented Alignment with Integrated Contrastive Learning for Multimodal Knowledge Graph Construction from Scientific Documents

【字体: 大 中 小 】 时间:2026年09月26日 来源:Big Data and Cognitive Computing 5.3

编辑推荐:

   摘要

  

摘要

多模态知识图谱(MMKGs)提供了一种极具前景的范式,能够将异构数据源整合为统一的、可查询的、具有语义结构的表示。然而,现有的MMKG构建流程仍以文本为中心,仅从文本段落中提取信息,而科学论文中大量的视觉和结构知识未被表示。这导致了碎片化的图谱,包含不连通的组件、孤立的单例节点以及薄弱的跨模态连接,从而降低了依赖互联图谱遍历来进行多跳推理和证据聚合的检索增强生成(RAG)系统的有效性。我们提出了多模态语义导向对齐与集成对比学习(MOSAIC),这是一个用于从异构科学文档构建语义连贯MMKG的端到端框架。MOSAIC结合了四项互补的贡献:(i) 基于HDBSCAN的自适应聚类,该方法无需依赖传统DBSCAN中脆弱的超参数,而是推断数据驱动的实体边界;(ii) 一种置信度感知的跨模态对齐机制,应用余弦相似度门控来选择性调用大语言模型(LLMs),减少虚假对齐和计算开销;(iii) 后融合语义桥接,通过余弦相似度加权的桥接边将语义相关但结构不连通的组件链接起来;以及(iv) 自监督对比嵌入微调,使用InfoNCE风格的MultipleNegativesRankingLoss目标来专门化嵌入空间以实现跨模态实体表示。实证评估表明,MOSAIC显著改善了图谱拓扑结构和结构连贯性,平均聚类系数提高了110%,减少了碎片化,并增强了簇内语义一致性。在两个具有挑战性的基准数据集MMLongBench-Doc(134篇文档,1082个问答对)和DocBench(166篇文档)上的评估显示,MOSAIC-RAG引擎显著优于竞争性的基于图谱和密集检索的系统,且其相对于词汇检索的优势集中在视觉锚定的问题上,在两个基准上均具有统计显著性。这些结果确立了我们提出的MOSAIC框架在多模态文档理解方面的有效性及其在不同文档类别上的泛化能力。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号