多模态推荐系统(MRS)作为一种缓解信息过载的核心技术,已深入集成到电子商务(例如Amazon(Liu等人,2022b))、社交媒体(例如Twitter(Sharma等人,2024)和在线视频平台(例如TikTok(Chen等人,2024))等数字场景中。通过结合丰富的多模态内容特征(例如视觉和文本信息),MRS旨在捕捉用户超越单纯交互行为的细粒度偏好。然而,在许多现实世界场景中,用户-物品交互本质上是稀疏的、噪声较大的,并且分布不均。在这种情况下,即使有多模态内容,学习可靠的用户和物品表示仍然是一个挑战。(Liu, Hu, Xiao, Zhao, Gao, Wang, Li, Tang, 2024a, Wei, Lan, Li, Luo, Hu, 2025)
解决数据稀疏性的一种常见策略是通过图结构传播信息,从而能够对用户和物品之间的高阶协作模式进行建模。基于图的多模态推荐方法利用消息传递来聚合来自相邻节点的信号,以丰富表示(Wang, Wei, Yin, Wu, Song, Nie, 2021, Wei, Wang, Nie, He, Chua, 2020, Wei, Wang, Nie, He, Hong, Chua, 2019, Zhang, Zhu, Liu, Wu, Wang, Wang, 2021)。然而,这些方法仍然主要依赖于观察到的用户-物品交互作为监督。当交互数据稀疏时,重复的消息传递可能会放大噪声并导致过度平滑,从而削弱模型区分有意义偏好信号的能力。此外,大多数基于图的方法以成对的方式建模关系,通过一系列二元交互隐式地近似复杂的全局语义,这限制了它们在稀疏环境中的表达能力。
另一种缓解稀疏性的有前景的方向是自监督和生成建模(Yu等人,2023)。例如,MMGCL(Yi, Wang, Ounis, & Macdonald, 2022)和SLMRec(Tao等人,2022)生成不同的模态视图用于对比学习。然而,大多数现有方法依赖于数据增强策略,如随机掩码或扰动,这可能导致信息丢失并引入噪声(Shi, Zhang, Zhang, Xiao, Hou, Li, 2025, Yang, Fang, Zhang, Wu, Lu, 2023b),最终限制了它们在稀疏场景中的鲁棒性。扩散模型最近通过利用去噪框架展示了强大的数据学习能力,扩散模型有效地逆转了多步噪声过程,生成与训练数据分布高度一致的合成数据(Cao, Tan, Gao, Xu, Chen, Heng, Li, 2024, Yang, Zhang, Song, Hong, Xu, Zhao, Zhang, Cui, Yang, 2023a)。这一特性与推荐系统中缓解数据稀疏性问题的需求完美契合,显示出巨大的潜力。最近的基于扩散的推荐方法(Jiang等人,2024;Ma, Yang, Meng, Xie, & Meng,2024)表明,引入噪声和去噪过程可以提高表示的鲁棒性并恢复缺失的信息。然而,现有方法主要将扩散应用于交互图或潜在嵌入,这些方法仍然局限于局部的成对关系。因此,多个用户和物品之间的全局依赖关系仍未被明确捕捉。
即使采用了更深层次的消息传递或更高层的图神经网络,这些模型仍然受到成对交互建模的根本限制,其中高阶关系是通过一系列二元链接隐式近似的,而不是明确表示的。此外,在稀疏推荐场景中,堆叠更多层通常会放大噪声传播和过度平滑,从而削弱模型区分有意义全局语义的能力。为了克服这些限制,有必要明确建模超出成对依赖关系的高阶关系。在这项工作中,我们将高阶关系定义为涉及两个以上实体的交互,这些交互捕捉了多个节点之间的联合依赖关系,不能简单地分解为独立的成对关系。先前的研究(Guo等人,2024;Xia等人,2022)已经证明,这样的关系对于建模复杂的协作模式和多模态相关性至关重要。考虑到超图可以通过单个超边连接多个节点,它们提供了一种原理性的方法,可以明确建模用户和物品之间的复杂高阶关系,超越了成对的假设。这自然引出了一个重要问题:我们如何将超图的高阶复杂关系与扩散模型的生成能力结合起来?为了解决这个问题,我们需要克服以下两个核心挑战:
C1:如何构建一个模态感知的超图结构?
C2:如何有效地将扩散模型应用于超图结构?
为此,我们开发了一种名为MHRec的模态感知超图边扩散多模态推荐方法。对于C1,传统的超图构建方法(例如,那些依赖于社会关系的方法(Ji, Feng, Ji, Zhao, Tang, Gao, 2020, Zhang, Zhang, Wu, He, Zhao, 2023)面临双重限制:它们需要外部知识,并且难以与多模态内容建立内在相关性。为了解决这个问题,我们设计了一种模态感知的超图边构建机制,该机制整合了三个互补的图:用户-物品交互图、用户共现图和物品语义图。通过利用多模态驱动的物品语义图,这种设计将模态感知内置于超图结构中。对于C2,考虑到超图结构的复杂性和高维度,我们将扩散模型的应用范围集中在超边上。具体来说,我们通过扩散过程重建模态感知的超边,从而动态优化超图结构。此外,为了增强模型的表达能力,我们设计了一个双通道表示学习模块,该模块结合了图卷积网络和超图注意力网络。该模块从两个角度捕捉多模态表示——局部交互建模和全局关系建模——并实现了有效的跨模态融合。此外,为了进一步改进模态表示的融合,我们引入了一种跨模态对比增强范式,通过对比学习任务增强了不同模态之间的语义一致性。
本文的主要贡献总结如下:
•我们提出了MHRec,它将超图的高阶关系建模能力与扩散模型的生成能力相结合,以缓解数据稀疏性并增强多模态表示学习。
•我们设计了一种超图边构建机制,可以自适应地整合用户-物品、用户共现和物品语义关系,无需外部知识即可形成模态感知的超图。
•我们在超图边上引入了正向和反向扩散操作,为多模态推荐中动态优化超图结构提供了新的生成视角。
•我们开发了一种结合图卷积网络和超图注意力网络的双通道架构,以联合建模局部交互和全局关系,实现自适应的跨模态融合。