PHKT:面向多行为序列推荐的个性化超图增强KAN Transformer
《Expert Systems with Applications》:PHKT: Personalized Hypergraph-Enhanced KAN Transformer for Multi-behavior Sequential Recommendation
【字体:
大
中
小
】
时间:2026年09月28日
来源:Expert Systems with Applications 9.4
编辑推荐:
• 面向序列与结构多行为推荐的双视角框架 • 引入受KAN启发的非线性映射以改进Transformer序列建模 • 引入行为感知个性化超图以建模用户特定关系 • 系统研究揭示PHKT的有效性、适用性与局限性
引言
随着在线信息和服务的爆炸式增长,推荐系统已成为数字平台不可
• 面向序列与结构多行为推荐的双视角框架 • 引入受KAN启发的非线性映射以改进Transformer序列建模 • 引入行为感知个性化超图以建模用户特定关系 • 系统研究揭示PHKT的有效性、适用性与局限性
引言
随着在线信息和服务的爆炸式增长,推荐系统已成为数字平台不可或缺的重要组成部分,帮助用户在海量商品集合中导航并做出明智的决策。它们已被广泛应用于电子商务和娱乐领域,包括在线游戏和音乐推荐服务,在创造巨大商业价值的同时提升了用户体验。
传统推荐方法主要从历史用户-物品交互中学习用户偏好,但往往缺乏对交互顺序和上下文依赖关系的显式建模。在实际应用中,用户行为按序列发生,用户偏好随着交互历史的积累而不断演变。因此,近期行为往往反映了用户的当前兴趣和决策意图。序列推荐对有序交互历史进行建模,并捕捉不同位置交互之间的依赖关系,以预测下一个感兴趣的商品。
在当前电子商务平台上,用户通常通过多种行为类型与商品进行交互,包括浏览、收藏、加入购物车和购买。例如,购买行为可能发生在用户浏览相似商品、将候选商品加入收藏并比较不同替代方案之后。这些行为共同构成了用户的决策过程,同时传达了不同强度的偏好信号。因此,多行为序列推荐在区分不同行为的语义和重要性的同时建模交互顺序,从而整合互补信号以刻画用户兴趣。
基于Transformer的方法在建模序列上下文依赖关系方面展现了强大的能力,而图神经网络和超图神经网络则为表示多个交互之间的高阶关系提供了自然的手段。由于序列依赖关系和高阶结构关系从互补的角度刻画用户兴趣,近期研究进一步将Transformer和超图建模相结合,以同时利用这两种类型的信息。然而,现有的联合建模方法可能仍然受到其序列分支和结构分支各自局限性的制约,从而影响最终联合表示的质量。
静态超图建模的潜在局限性。如图1所示,相似的商品交互历史在不同行为下可能传达不同的偏好语义,而商品-行为交互之间的关系也可能在不同用户之间存在差异。由于不同行为类型对目标偏好建模的贡献可能不均衡,若未在超图连通性和节点-超边关联权重中显式反映其相对重要性,可能导致对行为异质性的表征不足。携带相对较弱偏好信号的交互也可能干扰用户兴趣建模。此外,现有方法通常依赖全局共享的超图结构,这可能不足以适应用户个体交互序列并捕捉用户特定的商品关系。
固定非线性变换的潜在局限性。在标准前馈网络中,第一次线性投影与固定激活函数共同生成非线性中间特征,而第二次线性投影进一步组合这些特征并将其映射回原始隐藏维度。在多行为推荐中,交互表示通常集成多种语义信号,例如商品信息和行为信息。当表示维度受限时,此类固定非线性变换可能限制特征变换的灵活性。
为缓解上述两个分支的建模局限性,我们提出了PHKT,对Transformer-超图联合建模范式的序列建模和结构建模组件进行了针对性改进。
在序列建模分支中,受KAN可学习非线性映射机制的启发,我们将标准Transformer FFN重新设计为KAN-FFN,并构建了KANT(即配备KAN-FFN的Transformer Block),旨在通过逐连接可学习非线性映射来缓解受限表示维度下固定非线性变换的潜在局限性。
在结构建模分支中,PHKT引入可学习的行为类型权重,将行为重要性纳入Top-k邻居选择和节点-超边关联权重计算中,并为每个用户序列动态构建超图,通过超图传播来建模用户特定的高阶关系。
最后,一个逐位置注意力机制自适应地整合序列表示和超图表示,用于用户偏好预测。
此外,我们进行了系统的实证研究,以验证所提出的双分支改进的实用有效性,并进一步分析了它们在不同条件下的性能、适用性和局限性。
本文的主要贡献总结如下:
• 我们提出了PHKT,一个用于多行为序列推荐的双视角框架,引入针对性改进以解决现有Transformer-超图联合建模方法中序列分支和结构分支的潜在局限性。 • 在序列建模分支中,我们将标准Transformer FFN重新设计为KAN-FFN并构建KANT,以缓解受限表示维度下固定非线性变换的潜在局限性。 • 在结构建模分支中,我们将异质行为重要性纳入超图构建和传播过程,并动态建模用户特定的高阶关系,以缓解行为同质化建模和静态结构的潜在局限性。 • 我们在三个真实世界数据集上进行了系统实证研究,验证了所提方法的有效性,并进一步刻画了它们在不同条件下的性能、适用性和局限性。
本文其余部分组织如下:第2节综述相关研究。第3节阐述问题定义。第4节描述所提出的PHKT模型,包括KAN增强的Transformer、行为感知个性化超图以及跨视角聚合与预测模块。第5节介绍实验设置,并通过整体对比、消融研究、KAN-FFN的进一步分析、参数分析、噪声与稀疏交互下的鲁棒性研究以及计算复杂度和效率分析来评估PHKT。最后,第6节总结全文,讨论局限性并探讨未来研究方向。
第2节片段——序列推荐
早期序列推荐方法主要依赖马尔可夫链来建模用户在商品间的转移模式。例如,分解个性化马尔可夫链(FPMC)将矩阵分解与马尔可夫过程相结合,以同时捕捉序列依赖关系和个性化偏好。随后,GRU4Rec采用门控循环单元处理变长序列,而Caser...
问题形式化
在本文中,我们用V、T和U分别表示商品集合、行为类型集合和用户集合。对于用户u的每个目标购买交互,令y_u∈V表示目标商品。在此目标购买之前的历史多行为交互序列表示为S_u=[(v_1, t_1), (v_2, t_2), ..., (v_L, t_L)],其中L表示序列长度,每个元组(v_l, t_l)表示用户u在第l个位置通过行为类型t_l与商品v_l的交互。该序列可能包含...
所提出的方法
PHKT基于Transformer-超图联合建模范式,并对其序列分支和结构分支进行了针对性修改。给定联合的商品、行为类型和位置嵌入,序列分支采用KANT来建模上下文依赖关系,而结构分支构建行为感知个性化超图以捕捉异质行为重要性和用户特定的高阶关系。由此生成的序列表示和结构表示...
评估设置
在本小节中,我们详细介绍评估设置,包括数据集、实现细节和基线方法。
结论
在本文中,我们提出了PHKT用于多行为序列推荐。PHKT在序列建模分支中引入KAN-FFN以提供潜在更具灵活性的非线性特征变换,并构建行为感知个性化超图以建模异质行为重要性和用户特定的高阶商品关系。两种互补的表示被自适应地整合用于用户偏好预测。在三个真实世界数据集上的实验结果支持了...
CRediT作者贡献声明
Ruijie Du:概念化、方法论、软件、可视化、撰写——初稿、撰写——审阅与编辑。Hao Chen:数据整理、软件、可视化、撰写——初稿、撰写——审阅与编辑。Xin Zhang:形式分析、资金获取、验证、撰写——审阅与编辑。Dongjing Wang:数据整理、资金获取、项目管理、监督、撰写——审阅与编辑。Ze Zhang:调查、验证、撰写——审阅与编辑。
利益冲突声明
作者声明他们不存在可能影响本文工作的已知竞争性经济利益或个人关系。
Ruijie Du | Hao Chen | Xin Zhang | Dongjing Wang | Ze Zhang | Xudong Shen | Runze Wu | Dongjin Yu
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号