具有模态感知的超图边扩散算法在多模态推荐中的应用

《Expert Systems with Applications》:Modality-aware Hypergraph Edge Diffusion for Multimodal Recommendation

【字体: 大 中 小 】 时间:2026年04月04日 来源:Expert Systems with Applications 7.5

编辑推荐:

  多模态推荐系统通过融合用户行为与跨模态内容信息建模细粒度偏好,但数据稀疏问题导致表示学习效果受限。本文提出MHRec模型,创新性地将超图的高阶关系建模能力与扩散模型的生成机制相结合:1)设计模态感知的超图边构建机制,动态整合用户-项目交互、用户共现和项目语义三重关系网络;2)引入前向-反向扩散操作优化超图拓扑结构;3)构建双通道表示学习模块,分别通过图卷积网络捕捉局部交互,超图注意力网络建模全局语义,并创新采用跨模态对比增强学习。实验表明MHRec在Beauty、Sports和MicroLens数据集上Recall@10分别提升6.05%、3.82%和4.10%,显著优于基线方法。

  
平玉超|王书琴|杨子怡|黄世一|胡梦翔|董永全
中国江苏省徐州市江苏师范大学

摘要

多模态推荐系统旨在通过联合利用多模态内容和协作信号来对用户和物品进行建模,但其性能从根本上受到数据稀疏性的限制。为了解决这个问题,最近的研究引入了扩散模型来生成额外的结构信息并丰富用户-物品表示。然而,大多数方法仍然局限于用户和物品之间的局部交互,无法捕捉全局关系。我们提出了一种新型的模态感知超图边扩散推荐模型(MHRec),它将超图的高阶关系建模能力与扩散模型的生成能力相结合,以动态优化图结构并增强多模态表示学习。具体来说,MHRec构建了能够自适应捕捉局部交互和全局关系的模态感知超图,并采用基于扩散的策略来优化这些结构。最后,一个双通道表示学习模块跨模态联合对用户和物品进行建模,以实现鲁棒和全面的表示。在三个公共数据集(Beauty、Sports和MicroLens)上的实验表明,MHRec的性能始终优于现有的基线方法。值得注意的是,MHRec在这些数据集上的召回率分别提高了6.05%、3.82%和4.10%,显示出其在缓解数据稀疏性和提升推荐性能方面的强大能力。

引言

多模态推荐系统(MRS)作为一种缓解信息过载的核心技术,已深入集成到电子商务(例如Amazon(Liu等人,2022b))、社交媒体(例如Twitter(Sharma等人,2024)和在线视频平台(例如TikTok(Chen等人,2024))等数字场景中。通过结合丰富的多模态内容特征(例如视觉和文本信息),MRS旨在捕捉用户超越单纯交互行为的细粒度偏好。然而,在许多现实世界场景中,用户-物品交互本质上是稀疏的、噪声较大的,并且分布不均。在这种情况下,即使有多模态内容,学习可靠的用户和物品表示仍然是一个挑战。(Liu, Hu, Xiao, Zhao, Gao, Wang, Li, Tang, 2024a, Wei, Lan, Li, Luo, Hu, 2025)
解决数据稀疏性的一种常见策略是通过图结构传播信息,从而能够对用户和物品之间的高阶协作模式进行建模。基于图的多模态推荐方法利用消息传递来聚合来自相邻节点的信号,以丰富表示(Wang, Wei, Yin, Wu, Song, Nie, 2021, Wei, Wang, Nie, He, Chua, 2020, Wei, Wang, Nie, He, Hong, Chua, 2019, Zhang, Zhu, Liu, Wu, Wang, Wang, 2021)。然而,这些方法仍然主要依赖于观察到的用户-物品交互作为监督。当交互数据稀疏时,重复的消息传递可能会放大噪声并导致过度平滑,从而削弱模型区分有意义偏好信号的能力。此外,大多数基于图的方法以成对的方式建模关系,通过一系列二元交互隐式地近似复杂的全局语义,这限制了它们在稀疏环境中的表达能力。
另一种缓解稀疏性的有前景的方向是自监督和生成建模(Yu等人,2023)。例如,MMGCL(Yi, Wang, Ounis, & Macdonald, 2022)和SLMRec(Tao等人,2022)生成不同的模态视图用于对比学习。然而,大多数现有方法依赖于数据增强策略,如随机掩码或扰动,这可能导致信息丢失并引入噪声(Shi, Zhang, Zhang, Xiao, Hou, Li, 2025, Yang, Fang, Zhang, Wu, Lu, 2023b),最终限制了它们在稀疏场景中的鲁棒性。扩散模型最近通过利用去噪框架展示了强大的数据学习能力,扩散模型有效地逆转了多步噪声过程,生成与训练数据分布高度一致的合成数据(Cao, Tan, Gao, Xu, Chen, Heng, Li, 2024, Yang, Zhang, Song, Hong, Xu, Zhao, Zhang, Cui, Yang, 2023a)。这一特性与推荐系统中缓解数据稀疏性问题的需求完美契合,显示出巨大的潜力。最近的基于扩散的推荐方法(Jiang等人,2024;Ma, Yang, Meng, Xie, & Meng,2024)表明,引入噪声和去噪过程可以提高表示的鲁棒性并恢复缺失的信息。然而,现有方法主要将扩散应用于交互图或潜在嵌入,这些方法仍然局限于局部的成对关系。因此,多个用户和物品之间的全局依赖关系仍未被明确捕捉。
即使采用了更深层次的消息传递或更高层的图神经网络,这些模型仍然受到成对交互建模的根本限制,其中高阶关系是通过一系列二元链接隐式近似的,而不是明确表示的。此外,在稀疏推荐场景中,堆叠更多层通常会放大噪声传播和过度平滑,从而削弱模型区分有意义全局语义的能力。为了克服这些限制,有必要明确建模超出成对依赖关系的高阶关系。在这项工作中,我们将高阶关系定义为涉及两个以上实体的交互,这些交互捕捉了多个节点之间的联合依赖关系,不能简单地分解为独立的成对关系。先前的研究(Guo等人,2024;Xia等人,2022)已经证明,这样的关系对于建模复杂的协作模式和多模态相关性至关重要。考虑到超图可以通过单个超边连接多个节点,它们提供了一种原理性的方法,可以明确建模用户和物品之间的复杂高阶关系,超越了成对的假设。这自然引出了一个重要问题:我们如何将超图的高阶复杂关系与扩散模型的生成能力结合起来?为了解决这个问题,我们需要克服以下两个核心挑战:
C1:如何构建一个模态感知的超图结构?
C2:如何有效地将扩散模型应用于超图结构?
为此,我们开发了一种名为MHRec的模态感知超图边扩散多模态推荐方法。对于C1,传统的超图构建方法(例如,那些依赖于社会关系的方法(Ji, Feng, Ji, Zhao, Tang, Gao, 2020, Zhang, Zhang, Wu, He, Zhao, 2023)面临双重限制:它们需要外部知识,并且难以与多模态内容建立内在相关性。为了解决这个问题,我们设计了一种模态感知的超图边构建机制,该机制整合了三个互补的图:用户-物品交互图、用户共现图和物品语义图。通过利用多模态驱动的物品语义图,这种设计将模态感知内置于超图结构中。对于C2,考虑到超图结构的复杂性和高维度,我们将扩散模型的应用范围集中在超边上。具体来说,我们通过扩散过程重建模态感知的超边,从而动态优化超图结构。此外,为了增强模型的表达能力,我们设计了一个双通道表示学习模块,该模块结合了图卷积网络和超图注意力网络。该模块从两个角度捕捉多模态表示——局部交互建模和全局关系建模——并实现了有效的跨模态融合。此外,为了进一步改进模态表示的融合,我们引入了一种跨模态对比增强范式,通过对比学习任务增强了不同模态之间的语义一致性。
本文的主要贡献总结如下:
  • •
    我们提出了MHRec,它将超图的高阶关系建模能力与扩散模型的生成能力相结合,以缓解数据稀疏性并增强多模态表示学习。
  • •
    我们设计了一种超图边构建机制,可以自适应地整合用户-物品、用户共现和物品语义关系,无需外部知识即可形成模态感知的超图。
  • •
    我们在超图边上引入了正向和反向扩散操作,为多模态推荐中动态优化超图结构提供了新的生成视角。
  • •
    我们开发了一种结合图卷积网络和超图注意力网络的双通道架构,以联合建模局部交互和全局关系,实现自适应的跨模态融合。
  • 部分摘录

    多模态推荐

    多模态推荐系统作为一种利用视觉和文本等多种模态信息来增强用户建模的关键技术已经出现(Liu, Hu, Xiao, Zhao, Gao, Wang, Li, Tang, 2024a, Liu, Zhu, Yang, Dai, Du, Wu, Zhao, Zhang, Dong, 2024b)。早期的方法,如VBPR(He & McAuley, 2016),通过扩展矩阵分解来结合视觉特征,但其跨模态交互建模仍然有限。随着图神经网络的兴起,用户-物品

    初步

    问题表述:多模态推荐的核心目标是通过协作挖掘用户交互行为和物品的多模态信息,来建模细粒度的模态感知用户偏好,并生成用户/物品嵌入以进行推荐。在这项工作中,给定一个用户集U和一个物品集I,我们基于它们的多源关系图构建超图结构。我们首先定义Zuid∈R|U|×dZiid∈R|I|×d作为用户的学习ID嵌入矩阵

    方法

    如图1所示,所提出的方法由四个核心模块组成,形成了一个完整的推荐流程:(a) 模态感知超图边构建,整合多源互补关系;(b) 模态感知超图边扩散,通过正向和反向扩散操作优化模态感知超图的拓扑结构;(c) 多模态表示学习和融合,采用双通道表示学习方法

    实验

    在本节中,我们对三个公共数据集进行了系统实验,以全面评估所提出的MHRec模型,旨在解决以下研究问题:RQ1:MHRec与最先进的基线方法相比是否表现出显著的性能优势?RQ2:MHRec中的不同功能模块如何有助于提高推荐性能?RQ3:MHRec在缓解推荐系统中的数据稀疏性问题方面是否有效?RQ4:关键

    结论

    本文提出了一种模态感知超图边扩散模型(MHRec),它将超图的高阶关系能力与扩散的生成能力相结合,动态优化图结构并加强多模态表示学习。在三个公共数据集上的实验表明,MHRec的性能显著优于竞争性基线方法,表明其在数据稀疏性下的有效性很强。虽然这些结果令人鼓舞,但我们注意到一个实际问题

    CRediT作者贡献声明

    平玉超:撰写——原始草稿,方法论。王书琴:验证,监督。杨子怡:可视化,调查。黄世一:调查,形式分析。胡梦翔:可视化,调查。董永全:验证,监督。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号