《Knowledge-Based Systems》:Sensory-aware sequential recommendation via review-distilled representations
编辑推荐:
•通过评论提炼的感官属性丰富序列推荐。•将大语言模型提取的感官记录提炼为紧凑的物品嵌入。•在所有20个领域—骨干网络组合中提升HR@10和NDCG@10。•结构化提取提升命中率;感官内容提升排序质量。•将推荐与可解释的、人类可感知的描述符相关联。引言用户撰写评论时,常常用产品
- •
通过评论提炼的感官属性丰富序列推荐。
- •
将大语言模型提取的感官记录提炼为紧凑的物品嵌入。
- •
在所有20个领域—骨干网络组合中提升HR@10和NDCG@10。
- •
结构化提取提升命中率;感官内容提升排序质量。
- •
将推荐与可解释的、人类可感知的描述符相关联。
引言
用户撰写评论时,常常用产品看起来、摸起来、尝起来、闻起来或听起来如何来描述产品。这些感官描述——例如瑜伽垫的平滑质地或香薰蜡烛的香草气味——传达了细粒度的体验信息,而标准序列推荐系统很少能捕捉到这些信息。尽管现代序列模型利用物品标识符和交互历史取得了强大的性能,但它们通常将物品视为原子符号,忽略了评论文本中蕴含的丰富语义内容。
本工作的主要目标是通过引入源自用户评论中感官信息的语言基础表示层来增强序列推荐。我们不仅依赖行为信号,而是构建显式编码颜色、质地、气味和声音等体验属性的物品表示。我们分离了以往研究往往混淆的两个论断。第一个论断是:将评论文本转化为结构化的、基于证据的属性记录(而非不受约束的文本嵌入)是将更多正确物品纳入前列表的关键;使用相同流程但基于非感官词表构建的对照通道也复现了这种增益,说明这是结构化提取本身的特性而非感官词表的特性。第二个论断是:感官内容在列表顶部的物品排序方面表现出一致的优势,而相同的对照通道并不能一致地复现这种效果。本文第一个论断是关于结构化提取的普遍性,第二个论断则是关于感官通道的特殊性。感官提取本身不被视为一个最终任务,而是被视为一种表示学习机制,将非结构化的自然语言转化为适合整合入序列模型的结构化信号。
为此,我们提出了ASER(基于属性的感官增强表示),该框架将基于大语言模型的属性提取与知识蒸馏和序列推荐相结合。我们首先微调一个教师语言模型,从产品描述和评论中提取结构化的感官属性—值对。这些结构化输出为训练一个紧凑的学生Transformer提供监督信号,该学生模型为每个物品生成固定维度的感官嵌入。所得嵌入以高效可整合入下游模型的形式编码了提炼后的感官语义。
我们将学习得到的感官嵌入整合入代表性序列推荐架构,包括SASRec [1]、BERT4Rec [2]、BSARec [3]和DIFF [4],并在Amazon的五个领域上进行评估:美妆、运动户外、玩具、食品和电子游戏。然而,将评论衍生的感官信息整合入序列推荐具有挑战性,因为感官表示和协同表示捕捉的是物品语义的不同方面:直接组合它们假设两种表示是对齐的,且感官信息在不同用户间贡献一致。为解决这一问题,我们将感官信息建模为关系信号而非协同表示的替代品。整合是有界的且基于关系的:预训练骨干网络被冻结,仅学习用户历史与候选物品之间的感官关系,其产生的修正以有界幅度施加,修正的强度和候选深度均在验证数据上选定。所有20个领域—骨干网络组合均在同一实验流水线中训练和评估,遵循标准的留一协议:对每个用户,最后一次交互作为测试目标,倒数第二次交互作为验证目标,每个模型对所属领域的完整物品目录进行排序,已消费物品被掩码,评估时不使用采样负例。在该协议下,感官增强在所有20个领域—骨干网络组合中对HR@10和NDCG@10的下一物品预测均有提升,且所有120个报告的指标单元均有改进。
除定量提升外,提取的属性还使物品侧信号保持可审计:每个条目库中的条目均源自基于证据的记录,其引用的文本片段可与源文本核对,第4.4节对该证据的精确度和召回率进行了审计。
总体而言,本工作证明了结构化的、基于证据的属性提取为序列推荐提供了一种原理性和可扩展的表示学习策略,而该策略中感官通道在排序质量方面展现出一致优势而非仅在命中率方面。通过将非结构化的评论文本转化为结构化感官嵌入,我们将信息提取与推荐建模联系起来,既展示了语言基础语义对序列推荐的贡献,也揭示了该贡献的边界。
章节摘要
基于ID信号和语言信号的序列推荐
序列推荐模型从按时间排序的交互历史中预测下一物品。早期的神经网络方法使用循环网络如GRU4Rec,通过建模用户序列中的长程依赖关系改进了马尔可夫基线[5]。基于Transformer的模型后来成为主流,因为自注意力机制能更灵活地表示短期意图和长期偏好。SASRec使用因果自注意力建模用户历史[1],而BERT4Rec使用掩码的
方法
图1和图2总结了ASER——一个感官感知的序列推荐框架,该框架将感官提取、学生蒸馏和推荐分离开来。图1涵盖离线流水线(阶段1–3),图2涵盖运行时集成(阶段4)。教师和学生模型仅用于离线预处理。在推荐时,模型消费物品标识符和一个冻结的物品级感官表;在推荐器运行期间既不调用教师大语言模型也不调用文本编码器。
数据集与实验设置
我们在Amazon Reviews 2014数据集[63]上评估我们的方法,这是推荐系统广泛使用的基准。我们使用五个领域:美妆、运动户外、玩具与游戏、电子游戏和食品与美食。在表格和分析中,我们将这些领域简称为Beauty、Sports、Toys、Games和Grocery。每个领域包含用户的时间有序产品交互序列。我们采用5-核过滤协议,仅保留至少有五次交互的用户和物品。
结论
我们提出了ASER——一个感官感知的序列推荐框架,将评论语言与物品侧表示学习连接起来。ASER不使用评论文本作为不受约束的嵌入来源,而是从产品评论中提取结构化感官属性,将其蒸馏为紧凑的面向属性的学生编码器,并将所得感官嵌入整合入标准序列推荐器。这一设计使推荐模型能够利用关于产品如何
CRediT作者贡献声明
Yeo-Chan Yoon:写作—审阅与编辑,写作—原始草稿,验证,软件,方法论,经费获取,形式分析,概念构思。Chanjun Park:写作—审阅与编辑,验证,方法论。Kyuhan Koh:写作—审阅与编辑,验证,调查。
生成式AI及AI辅助技术在稿件准备过程中的声明
在准备本工作期间,作者使用了ChatGPT和Claude来检查事实准确性、评估逻辑一致性以及进行韩语与英语之间的文本翻译。在使用这些工具之后,作者对内容进行了审阅和编辑,并对发表文章的内容承担全部责任。
利益冲突声明
作者声明不存在已知的竞争经济利益或个人关系可能对本论文所报告的工作产生影响的。
致谢
本工作部分由基本科学研究计划通过韩国国家研究基金会(NRF)资助,由教育部提供资金,项目编号RS-2023-00245316。
Yeo-Chan Yoon|Chanjun Park|Kyuhan Koh