BiMLI:面向多模态知识图谱链接预测的双向链接–模态交互框架
《Big Data and Cognitive Computing》:BiMLI: Bidirectional Link–Modality Interaction for Link Prediction in Attribute-Based Multimodal Knowledge Graphs
【字体:
大
中
小
】
时间:2026年09月23日
来源:Big Data and Cognitive Computing 5.3
摘要
在基于属性的多模态知识图谱中,图像和文本作为实体的辅助属性,为链接预测提供了超越图拓扑的语义证据。然而,实体多模态表示与其局部链接(由关系和邻接实体构成的一跳事实三元组)之间的双向条件依赖关系仍未得到充分建模:不同的局部链接对结构、视觉和文本证据的依赖程度各异,反之亦然,每种模态在不同局部链接中的相关性也有所不同。现有方法已从模态对齐与融合发展到关系感知、结构感知及自适应选择,但它们主要让信息从链接流向模态,而通过每种模态对周围的个体链接进行区分与加权仍未得到充分探索,使得两个选择方向彼此脱节。因此,我们提出了 BiMLI,一个双向链接–模态交互框架。"链接→模态"方向在每个局部链接的条件下选择相关的结构、视觉和文本证据,而"模态→链接"方向则根据每种模态表示动态调整实体周围链接的权重。通过交互感知的特征融合与邻域聚合整合两种表示,并辅以跨模态对比正则化作为约束。在采用十个匹配随机种子的受控比较中,BiMLI 在 DB15K 和 MKG-W 上分别取得了 41.39% 和 44.28% 的平均 MRR 分数,分别比 ROAD 高出 1.79 和 6.18 个百分点。消融实验和细粒度分析表明,这两个方向在功能上是不对称的但彼此互补,为双向条件建模的价值提供了证据。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号