DReX:一种可解释的基于深度学习的多模态推荐框架

《Knowledge-Based Systems》:DReX: An explainable deep learning-based multimodal recommendation framework

【字体: 大 中 小 】 时间:2026年10月21日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   摘要 多模态推荐系统利用多种数据来源,例如用户交互、内容特征和上下文信息,来应对冷启动和数据稀疏等挑战。然而,现有方法往往存在一个或多个关键局限,例如对不同模态进行独立处理、训练时需要每次交互都具备完整的多模态数据,以及独立学习用户和物品表示。这些局限性会增加模型复杂度并阻

  

摘要

多模态推荐系统利用多种数据来源,例如用户交互、内容特征和上下文信息,来应对冷启动和数据稀疏等挑战。然而,现有方法往往存在一个或多个关键局限,例如对不同模态进行独立处理、训练时需要每次交互都具备完整的多模态数据,以及独立学习用户和物品表示。这些局限性会增加模型复杂度并阻碍一致的用户和物品表示的学习。为了解决这些挑战,我们提出了DReX,一个统一的多模态推荐框架,该框架为用户和物品维护不断演进的全球表示。对于每次交互,模态特定的特征被组合成交互级别的表示,并通过选择性整合来增量式地演进全球用户和物品表示。这种增量更新机制提供了三个关键优势:(1)同时建模精细的交互细节和更广泛的偏好模式;(2)消除了对用户和物品特征提取过程的单独需求,从而增强了其学习表示之间的对齐;(3)对模态的缺失或变化具有固有的鲁棒性。我们在三个包含评论、评分和图片作为交互模态的真实数据集上评估了所提方法的性能。通过将评论文本视为一种模态,我们的方法自动为用户和物品生成可解释的关键词画像,为推荐过程补充了可解释的偏好指标。实验结果表明,我们的方法在所有评估数据集上均优于最先进的方法。

引言

推荐系统已成为数字平台的重要组成部分,通过在旅游[1]、娱乐[2]和医疗[3]等领域提供个性化建议,帮助用户在海量数据中导航。在各种推荐技术中,协同过滤(CF)已被证明能够高效地为用户提供准确且相关的推荐,同时有效应对信息过载的挑战。传统协同过滤方法,如矩阵分解[4]和基于邻域的方法[5],利用隐式或显式反馈来生成个性化推荐。这些技术基于这样一个原则:过去表现出相似行为的用户在未来很可能具有相似的兴趣。因此,一个物品的可推荐性通过分析历史交互并在用户或物品之间识别相似性模式来确定。

尽管传统协同过滤方法在许多场景中有效,但它们往往难以应对数据稀疏问题,因为它们依赖于单一模态的用户-物品交互。此外,仅使用评分或点击的模型无法捕获用户偏好的潜在推理。多模态推荐系统(MRS)通过从多种数据来源(如文本评论、图片和评分)中提取特征来应对这些挑战,从而捕获对用户偏好和物品特征更准确且可解释的理解[6]。此外,这些系统通过将不同模态提取的特征与用户偏好进行对齐来增强可解释性。例如,文本评论可以通过突出用户所欣赏的特定方面来为推荐提供明确的推理。例如,如果一位用户撰写评论称赞某部电影的"扣人心弦的剧情和复杂的角色",系统可以推断出对强大叙事结构的偏好,并推荐以引人入胜的情节和充分发展的角色而闻名的类似影片。与此同时,从与电影相关的图片中提取的视觉特征,如传达黑暗、悬疑或动作主题的海报,提供了关于物品特征的补充信息。

已经提出了多项进展以增强MRS的性能。McAuley等人[7]引入了一个统计框架,该框架将评分数据中的潜在因子与从评论文本中提取的主题进行整合。通过整合这两种模态,该方法通过揭示评分维度和有意义主题之间的自然对齐来增强可解释性。Yang等人[8]提出了一个基于多模态协同过滤的模型,该模型通过整合播放列表及其多样内容来增强推荐。该模型包含两个关键组件:一个用于捕获播放列表及其相关艺术家特征的自编码器,以及一个识别播放列表与其标题之间潜在连接的字级别卷积神经网络。这些组件独立训练,并在推理过程中使用集成方法合并其输出。Liu等人[9]引入了一个混合神经推荐模型,该模型整合了评分和评论数据。该模型包含一个基于评分的编码器来捕获显式的用户-物品交互模式,以及一个基于评论的编码器来从文本评论中提取潜在特征。该模型利用注意力机制来识别和加权重要评论,以便基于相应的基于评分的表示更准确地建模用户和物品。

尽管取得了这些进展,但仍有若干挑战持续阻碍MRS的有效部署和可扩展性。许多现有方法将不同模态独立处理,未能利用其互补关系。这种对多模态交互的独立处理阻止了系统完全捕获用户偏好和物品特征之间的复杂联系。此外,一些方法由于目标函数中多个模态的内在联合建模,要求每次交互都具备完整的多模态数据。在实际场景中,单个交互经常缺乏完整的模态数据,这使得这一约束往往不切实际,从而限制了这些方法的适用性。此外,一些模型分别训练用户和物品的模型,这不仅增加了计算复杂度,还可能导致学习到的表示之间的不对齐。因此,这些低效性可能导致次优的推荐和降低的可解释性。

在本工作中,我们提出了一个新颖的基于神经网络的、可解释的多模态推荐框架DReX,以应对传统MRS所面临的挑战。所提出的模型侧重于通过利用可用的多模态交互数据来学习每个用户和物品的统一全球表示。与将特征提取、模态融合和表示更新视为独立阶段的现有方法不同,DReX在单一统一架构内紧密耦合这些组件,其中交互级别的融合和动态表示更新共同驱动推荐准确性和解释生成。这些全球表示通过从各个交互中提取的局部特征进行迭代优化,确保用户和物品的不同属性被准确捕获和整合。重要的是,局部特征提取过程被设计为无需每次交互都具备所有模态数据即可运行,使DReX对缺失或不完整的模态具有鲁棒性。此外,由于局部特征在交互级别提取,与分别训练用户和物品特征提取模型的方法相比,该模型在计算上更为高效。为展示DReX的有效性,我们考虑了三种模态,即评论、图片和评分。首先,评论内容通过注意力机制进行处理以获取文本表示,同时使用深度特征提取网络从物品图片中提取视觉表示。与此同时,从评分反馈中学习潜在特征。随后,通过融合互补的文本、视觉和基于评分的潜在特征构建基于交互的局部特征。最后,局部表示通过门控循环单元(GRU)选择性整合到全球用户和物品嵌入中,确保学习到的表示既动态又具有上下文相关性。

将评论作为模态的纳入突显了模型同时生成用户和物品关键词画像的能力,提供了可解释的偏好指标,即使评分信息有限时也能提高预测准确性。除了提高预测准确性之外,我们还通过测量其与评论衍生方面的相关性和有据性来定量评估这些解释的质量。实验结果表明,生成的关键词画像不仅能够捕获有意义的用户和物品特征,还能产生与底层评论内容一致对齐的解释。

所提框架的主要贡献总结如下:
- 统一的多模态推荐框架:DReX将文本、视觉和评分信息整合到统一的交互表示中,该表示增量式地演进全球用户和物品表示。
- 对缺失模态的鲁棒性:与需要完整多模态信息的现有方法不同,DReX在交互级别自然适应缺失模态,使其适用于实际推荐场景。
- 动态表示学习:所提出的增量更新机制通过不断演进的全球表示捕获细粒度的交互特征和长期的用户偏好和物品属性。
- 可解释的推荐:DReX从评论内容中自动生成可解释的用户和物品关键词画像,提供透明的偏好指标来支持推荐。
- 计算效率:消除了分别学习用户和物品表示的单独特征提取。
- 全面的实证评估:在三个真实数据集上的广泛实验证明了DReX在提高推荐准确性方面的有效性,同时额外的定量分析验证了生成解释的质量和依据。

本文其余部分结构如下。第2节讨论了现有有关多模态推荐系统的相关工作。第3节介绍了我们提出的DReX模型。第4节展示了用于将DReX与基线方法进行对比分析的详细实验设置。第5节讨论了实验结果和消融研究。最后,第6节总结了全文并探讨了未来研究方向。

相关工作片段

协同过滤(CF)技术利用相似用户的偏好以及用户过去的偏好来提供推荐[10]。矩阵分解(MF)是许多传统协同过滤模型中常用的技术,其重点是将用户-物品交互矩阵分解为用户和物品的潜在表示,以提供基于相似性的预测[11]。最近的研究日益关注基于神经网络的方法来建模复杂...

所提方法

在本节中,我们介绍了DReX,一个新颖的多模态推荐框架,旨在为用户和物品学习统一的全球表示。这些表示通过从各个多模态交互中推导出的交互级别表示进行迭代优化,使模型能够同时捕获局部交互特征和长期偏好模式,同时保持对缺失模态的鲁棒性。为展示所提方法的...

实验设置

本节概述了用于评估所提出的DReX框架的实验方案。我们首先描述了实验中使用的基准数据集、基线模型、评估指标和超参数配置。基于此设置,我们对DReX进行了全面的实证评估,围绕以下关键研究问题展开:
RQ1:与最先进的推荐模型相比,DReX在排序准确性方面表现如何?(第5.1节)
RQ2:DReX如何...

结果与讨论

我们在后续章节中报告实验结果,并对每个研究问题对应的发现进行详细讨论。除了报告DReX的结果(其中用户和物品的统一全球表示随机初始化)外,我们还展示了一个变体的结果,即DReX-MLP。具体而言,DReX-MLP使用单独的具有一个隐藏层的多层感知机(MLP,隐藏层大小为2d)为每个用户和物品生成结构化的d维表示,每个...

结论

在本工作中,我们介绍了DReX,一个可解释的多模态推荐框架,该框架从交互级别的多模态信息中学习不断演进的用户和物品全球表示。通过将模态特定的特征整合到统一的交互表示中,并通过门控循环单元增量式更新用户和物品嵌入,DReX同时捕获了细粒度的交互特征和长期的偏好模式。与传统的多模态推荐...

CRediT作者贡献声明

Adamya Shyam:撰写——初稿,软件,方法论,调查研究,概念构思。Venakateswara Rao Kagita:撰写——初稿,验证,监督,软件,方法论,调查研究。Bharti Rana:撰写——初稿,验证,监督,软件,方法论,调查研究,概念构思。Vikas Kumar:撰写——初稿,验证,监督,软件,方法论,概念构思。

利益冲突声明

作者声明他们没有已知的相互竞争的财务利益或个人关系可能影响本文所报告的工作。

Adamya Shyam | Venakateswara Rao Kagita | Bharti Rana | Vikas Kumar
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号