面向敦煌壁画描述生成的基于证据的多模态知识图谱
《Expert Systems with Applications》:Evidence-grounded multimodal knowledge graph for Dunhuang mural description generation
【字体:
大
中
小
】
时间:2026年10月21日
来源:Expert Systems with Applications 9.4
编辑推荐:
# 摘要
敦煌壁画常因褪色、风化和物理劣化而受到影响,这削弱了视觉线索并使高层语义解释依赖于领域知识。因此,现有的描述生成方法往往会产生证据基础不足的描述。为了解决这一问题,我们提出了一种基于证据的多模态知识图谱方法,用于敦煌壁画描述生成。该框架集成了结构化视觉证据提取、缺
# 摘要敦煌壁画常因褪色、风化和物理劣化而受到影响,这削弱了视觉线索并使高层语义解释依赖于领域知识。因此,现有的描述生成方法往往会产生证据基础不足的描述。为了解决这一问题,我们提出了一种基于证据的多模态知识图谱方法,用于敦煌壁画描述生成。该框架集成了结构化视觉证据提取、缺口驱动的知识检索与推理,以及证据引导的分层生成。利用候选概念、可观察线索和区域级支持关系来检索与图像相关的知识并构建局部证据子图,从而指导视觉语言模型生成可见内容描述、领域特定语义判断和谨慎推断。在我们自建的敦煌壁画描述数据集上,该方法取得了BLEU-4、METEOR、ROUGE-L、CIDEr和SPICE分数分别为42.5、28.4、54.8、138.2和25.3的性能表现;声明级评估进一步取得了FCR、CRSR和GSR分数分别为90.2%、92.3%和88.5%的成绩,同时UCR降低至7.6%。该方法在MS COCO上也保持了竞争力。# 引言敦煌壁画构成了重要的视觉文化遗产资源,蕴含着丰富的宗教叙事、艺术风格和佛教艺术的语义知识(Huen, 2025)。自动描述生成可以方便其数字化整理、检索和解释。然而,敦煌壁画与自然图像存在显著差异。褪色、风化和物理损坏常常削弱或模糊关键视觉线索,而人物身份、主题归属和人物间关系等高层语义往往需要特定领域知识。尽管图像修复可以改善视觉质量(Xu & Geng, 2024),但其本身无法为这类语义判断提供充分支持。因此,敦煌壁画描述生成既需要健壮的视觉感知,也需要有效的领域知识融合。近年来,敦煌壁画图像分析(Zeng et al., 2024)以及多模态图像描述和视觉语言模型(Bucciarelli et al., 2025)方面的进展提升了视觉识别和文本生成能力。领域特定应用还从提示增强、领域适应和检索增强生成中受益(Xia et al., 2025)。然而,这些方法在很大程度上仍然依赖于隐式参数化知识或直接检索的外部信息,很少在局部视觉线索、领域知识和生成的语义声明之间建立显式的支持关系。如图1所示,关键挑战不仅在于引入更多外部知识,还在于从局部图像区域和可观察线索到领域知识和生成描述的构建可追溯的证据链。对于劣化的壁画而言,这种证据链尤为重要,因为高层语义声明应受到当前图像中可用视觉证据的约束。为了解决这个问题,我们提出了一种基于证据的多模态知识图谱方法,用于敦煌壁画描述生成。该框架集成了三个组件:结构化视觉证据提取、缺口驱动的知识检索与推理,以及证据引导的分层描述生成。结构化视觉证据为图像条件下的检索提供候选概念、可观察线索和区域级支持。离线构建的多模态知识图谱组织领域概念及其支持关系,通过多跳推理和图像条件下的候选门控,构建与当前壁画图像相关的局部证据子图。所得的结构化证据表示与图像联合使用,在三个层次上指导描述生成:可见内容描述、领域特定语义判断和谨慎推断。在我们自建的敦煌壁画描述数据集上的实验表明,该方法在代表性描述生成和基于推理的方法上取得了一致的提升,而在MS COCO上的补充评估表明,所提框架保留了具有竞争力的通用图像描述性能。本文的方法学创新在于为知识密集型敦煌壁画描述构建了可追溯的证据链,其中当前图像的局部视觉信息、来源感知的图谱关系和生成的语义声明在视觉证据提取、知识检索和描述生成过程中被联合组织。基于此设计,主要贡献如下:1. 我们构建了一种基于证据的多模态知识图谱表示,显式保留了关系类型、关系特定权重、来源信息和可用的视觉对齐,使得来自不同来源的关系能够保持可区分性,并可追溯到局部壁画证据。2. 我们提出了一种图像条件下的局部证据子图构建机制。从当前图像预测的候选概念和可观察线索用作查询锚点,检索到的候选结果在检索和多跳扩展后根据当前图像进一步限制,同时保留了可用的区域指针和来源属性。3. 我们提出了一种证据引导的分层描述生成机制,将局部证据子图组织为来源感知的结构化证据,并对可见内容、依赖知识的高层语义判断和证据不足的情况应用不同的生成规则,从而减少缺乏支撑的高层断言。# 章节摘要## 相关工作本节回顾了与我们的工作最相关的研究,包括图像描述和视觉语言模型、检索增强生成、多模态知识图谱推理,以及敦煌壁画和文化遗产的视觉分析。通过这一回顾,我们确定了在局部视觉证据、来源感知的领域知识和生成的语义声明之间建立可追溯联系方面仍存在的空白。## 方法本节介绍了所提出的基于证据的敦煌壁画描述生成框架。我们首先介绍整体架构,然后描述结构化视觉证据提取、多模态知识图谱构建与检索推理,以及证据引导的分层描述生成。## 实验本节从描述性能、事实正确性和证据支持、组件贡献、定性行为和关键证据机制的可靠性等方面系统地评估了所提出的框架。我们首先描述数据集和实现设置,随后是敦煌壁画数据集和MS COCO上的对比实验、消融研究、声明级人工评估和组件级分析。## 结论本文提出了一种基于证据的多模态知识图谱方法,用于敦煌壁画描述生成,解决了视觉线索减弱、领域依赖的图像学语义以及生成描述中缺乏可追溯支持的问题。该框架集成了结构化视觉证据提取、缺口驱动的知识检索与推理和证据引导的分层生成,在视觉证据提取、知识检索和描述生成中连接局部视觉线索、领域知识和生成的语义声明。## CRediT 作者贡献声明**许志刚:** 概念化、资金获取、方法学、项目管理、资源、监督、撰写原始草稿、撰写审阅与编辑。**赵晨:** 概念化、数据整理、形式分析、调查、方法学、软件、可视化、撰写原始草稿、撰写审阅与编辑。## 资助本工作由中华人民共和国国家自然科学基金(62161020)资助。资助方未参与研究设计、数据收集、分析与解释、手稿撰写或决定提交文章发表的决策。## 利益冲突声明作者声明没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。## 致谢作者没有其他需要声明的致谢。许志刚 | 赵晨
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号