GACF:面向多模态推荐的图增强与协同感知融合

《Pattern Recognition Letters》:GACF: Graph Augmentation and Co-awareness Fusion for Multimodal Recommendation

【字体: 大 中 小 】 时间:2026年09月26日 来源:Pattern Recognition Letters 3.5

编辑推荐:

   研究亮点(必填)。•协同感知图增强可减少跨模态结构噪声。•球面插值可改善跨模态表示对齐。•相似度感知的均匀性优化可提升嵌入的分散度与鲁棒性。引言多模态推荐将异构内容整合到协同过滤中。VBPR [1] 和 DeepStyle [2] 将视觉特征投影到潜在空间,并与协同信号相结合

  
研究亮点(必填)。
  • •
    协同感知图增强可减少跨模态结构噪声。
  • •
    球面插值可改善跨模态表示对齐。
  • •
    相似度感知的均匀性优化可提升嵌入的分散度与鲁棒性。

引言

多模态推荐将异构内容整合到协同过滤中。VBPR [1] 和 DeepStyle [2] 将视觉特征投影到潜在空间,并与协同信号相结合。基于图的方法则使用特定模态的物品图:LATTICE [3] 学习加权的模态视图,FREEDOM [4] 冻结潜在图,而 MGCN [5] 结合行为信号与模态信号。然而,许多方法分别传播各模态信息,使得邻域一致性仅被部分建模,并允许冲突的视觉与文本关系引入结构噪声。
图对比学习(GCL)通过视图构建 [6]、[7]、[8] 来提升推荐表示。SGL [9] 和 SimGCL [10] 对结构或嵌入进行扰动,而 LightGCL [11] 通过奇异值分解重构全局结构。AD-GCL [12]、AdaGCL [13] 和 HAPLRec [14] 通过对抗、生成或元路径机制学习任务感知的增强策略,但在传播前并未显式协调视觉与文本物品的邻域关系。
除推荐领域外,All-in-One 将预训练图神经网络适配到多种图任务中,而 OpenGC 通过压缩演化图实现开放世界学习 [15]、[16]。这些研究凸显了可适应图表示的价值,但未涉及推荐中的跨模态邻域一致性。
预测和结构化建模研究同样表明,高斯过程、基于图的依赖关系和神经网络模型能够捕获非线性及关系模式 [17]、[18]、[19]。复合方法进一步解决了模型不确定性与结构变化问题 [20]。尽管不属于推荐领域,这些研究展示了协调异构信号与结构的价值。
均匀性优化促进表示空间中的分散性 [21]。SimCLR 和 MoCo 使用显式负样本,而不同于 BYOL 和 SimSiam [22]、[23]、[24]、[25]。Barlow Twins 和 VICReg 约束冗余度与方差,而 CLIP 对齐视觉与文本表示 [26]、[27]、[28]。然而,标准均匀性忽略了采样物品的语义信息,可能削弱局部结构,从而促使联合图精化、多模态融合与分布正则化的研究。
因此,我们提出了 GACF(图增强与协同感知融合)框架,该框架联合精化图结构与多模态表示。GACF 通过跨模态一致的高置信度连接增强特定模态图,在通过球面插值对齐的物品表示上传播分解的模态偏好,并利用内在的跨模态相似性对嵌入分布进行正则化。这些操作共同减少不一致的邻域关系,提升在结构噪声下的鲁棒性与判别力。

章节摘要

方法

本节对多模态推荐进行形式化定义,并提出 GACF 框架(见图 1)。

实验

为评估 GACF 的有效性,我们围绕以下研究问题设计了一系列实验:
  • •
    RQ1。GACF 与现有最先进的推荐方法相比表现如何?
  • •
    RQ2。GACF 的核心架构组件对其有效性有何影响?
  • •
    RQ3。GACF 对其超参数设置的变化的敏感度如何?
  • •
    RQ4。GACF 的模态感知学习增强交互嵌入生成的可解释性如何?
  • •
    RQ5。GACF 对受控扰动的鲁棒性如何?

结论

本文提出了 GACF,该框架整合了跨模态图增强、表示融合与均匀性优化,以减少模态不一致性并提升表示可靠性。在三个 Amazon 数据集及 MicroLens-100K 上,GACF 优于强单模态和多模态基线方法;在 Baby 和 Clothing 数据集上的受控扰动实验进一步表明,在评估设置下 GACF 的敏感度有所降低。本研究仍局限于静态的视觉-文本隐式反馈,

CRediT 作者贡献声明

刘玉林:撰写——审阅与编辑、撰写——初稿、可视化、验证、软件、方法论、形式化分析、概念设计。张平:撰写——审阅与编辑、验证、形式化分析、概念设计。顾建华:撰写——审阅与编辑、验证、监督、资源、方法论。

利益冲突声明

作者声明,他们不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。
刘玉林 | 张平 | 顾建华
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号