Redian新闻
>
CIKM 2023|TASTE:通过文本匹配缓解序列化推荐中流行偏差问题

CIKM 2023|TASTE:通过文本匹配缓解序列化推荐中流行偏差问题

公众号新闻

作者丨刘正皓1、梅森1、熊辰炎2、李晓华1、于是 3、刘知远3、谷峪1、于戈1

机构丨1. 东北大学;2. 卡内基梅隆大学;3. 清华大学

该论文发表于CIKM-2023

论文链接:https://arxiv.org/abs/2308.14029

开源代码:https://github.com/OpenMatch/TASTE



1

研究背景

序列化推荐系统旨在根据用户的浏览历史动态地为用户推荐下一个商品,这在Yelp、TikTok、Amazon等众多Web应用程序中发挥着至关重要的作用。这些推荐系统通过使用不同的神经网络架构来学习用户-商品交互中商品之间的依赖关系,从而对用户行为进行建模。这些模型通常使用商品ID来表示商品,通过随机初始化向量来表示不同的商品,并使用来自用户-商品交互的信号来优化这些商品的向量化表示。

图1:商品与用户交互频度分布

然而,现有的基于商品ID向量表示的推荐系统通常面临流行偏差问题。

如图1(a)所示,推荐数据集中的商品与用户交互频率服从长尾分布,即仅有少部分商品与用户频繁交互,这使得基于商品ID的推荐模型通常面临冷启动问题,很多商品的向量表示训练不够充分。

此外如图1(b)所示,数据集中用户真实需要的商品中约74%与用户交互的次数低于20次,但基于商品ID的模型(T5-ID)在推荐结果中选择了返回给用户更加流行的商品。这导致了推荐系统存在典型的流行偏差问题即偏好于返回热门的商品作为推荐结果。

此外,如图2(a) 所示, 基于商品ID的推荐系统(T5-ID)学习到的商品向量表示空间展现了明显的各向异性,这使得流行商品与其他商品被划分到不同的区域。

相反,如图2(b) 所示,基于文本匹配的商品推荐模型TASTE在空间中将流行商品和其他商品的向量混合,从而能够通过匹配用户和商品的文本表示来为推荐系统返回更多文本相关但长尾的商品,最终缓解序列化推荐模型中的流行偏差问题。

图2:基于商品标识符模型和文本匹配模型商品向量空间可视化

在本文中,我们提出了基于文本匹配的序列化推荐方法(TASTE),它用文本表示商品和用户,通过匹配文本向量表征来建立它们之间的相关性,并缓解了基于商品ID的推荐模型的流行偏差问题。TASTE通过设计一些提示模板来表示商品,并用商品ID和商品属性填充模板来描述用户和商品。商品信息提供文本匹配线索,以对用户和商品之间的依赖性和相关性进行建模。TASTE还提出了一种注意力稀疏化编码方法,以打破语言模型的最大长度边界限制,实现对用户-商品交互的长文本表示进行编码。它将用户-商品交互历史划分为不同的子序列,独立地对每个子序列的文本表示进行编码,并减少了注意力计算开销。



2

基于文本匹配的序列化推荐模型(TASTE)

图3:基于文本匹配的序列化推荐模型(TASTE)框架

我们提出了基于文本匹配的序列化推荐(TASTE)模型。如图3所示,我们首先描述了如何用文本表示用户交互历史和商品,然后使用文本匹配对序列化推荐进行建模。最后,TASTE提出了一种注意力稀疏化方法来解锁模型编码用户-商品交互长文本序列的能力。

  1. 基于文本匹配的序列化推荐模型

给定用户-商品交互历史H={v1,v2,…,vt-1},序列化推荐任务旨在推荐商品Vt以满足用户在第t时刻的需求。TASTE使用预训练语言模型T5编码用户交互历史H和商品v,并通过匹配它们的文本向量表征来对用户和商品之间的相关性进行建模。

对于每个商品v,我们使用商品的ID和它的k个商品属性<Attr>以公式1的模版形式将商品文本化。

公式1:商品文本化表示

<Attr>k是第k个属性所对应的名称,v(id)和v(<Attr>i)分别是商品v的商品标识符及第i个属性的文本描述。这里的v(id)被视作一种ID提示,用于帮助语言模型捕捉超出商品描述范围的用户和商品间的匹配信号。

我们同样使用模版对用户交互历史H进行文本化描述:“Here is the visit history list of user: X(H) recommend next item”。它可以提供序列化推荐任务的定义,帮助预训练语言模型更好地建模用户行为。X(H)是文本化的商品序列{v1,v2,…,vt-1}的拼接结果,我们反转了商品序列顺序以保留最近的交互商品。

公式2:用户交互历史文本化表示

我们使用T5分别对用户交互历史H和商品v进行编码,并使用从T5解码出的第一个分词输入的表征作为二者的向量表征hH和hv

公式3:通过T5编码得到用户交互历史和商品的向量表征

我们基于编码向量表示hH和hv计算用户交互历史H和商品v的相关性。

公式4:排序概率计算公式。其中·表示向量内积

我们使用公式5优化语言模型参数,使用第t时刻用户交互的商品作为正样本,负样本来自inbatch和随机采样两种负采样方法,基于对比学习的方式训练模型。

公式5:采用对比学习方法训练模型

2.基于注意力稀疏化的用户-商品交互历史长文本编码

在现实世界中,购买或浏览历史通常涉及长期交互。较长的交互通常包含更多的用户行为信息,可以更好地对用户行为建模,并获得更准确的推荐结果。我们采用Fusion-in-Decoder架构以突破语言模型对于输入文本的长度限制,并进一步对长用户序列进行建模。我们首先将用户交互历史文本X(H)划分为n个子序列文本X(H)={X(H1),X(H2),…,X(Hn)},每个子序列反映了用户在特定时间内的喜好情况,并使用子序列中用户交互过的商品进行表示。我们使用T5编码器对每个用户交互历史子序列进行独立编码。

公式6:独立地对用户交互历史子序列进行编码

最后,我们可以通过将稀疏编码得到的用户商品交互序列表征馈送到解码器模块来获得用户商品交互历史的最终向量表示。

公式7:解码器中进行融合获得最终向量表示

解码器使用交叉注意力机制重新为不同的用户-商品交互子序列赋予权重,并通过从文本化的用户-商品交互历史中的所有商品的文本化描述中捕获文本匹配信号来对用户行为进行建模。



3

实验结果

表1:不同序列化推荐模型在Amazon和Yelp数据集上的表现

TASTE的推荐性能如表1所示。总体而言,TASTE在所有数据集上都显著优于基线模型,实现了18%的性能提升。与基于商品ID向量建模的推荐模型(如Bert4Rec)相比,TASTE得益于使用文本匹配信号对用户和商品之间的相关性进行建模,推荐性能获得了显著提升。TASTE还优于最先进的推荐模型DIF-SR。后者利用商品属性作为辅助信息以帮助模型更好地从用户-商品交互历史中学习用户行为,它将商品属性表示为向量,并更侧重于解耦和融合商品中的辅助信息。相比较于DIF-SR,TASTE没有设计复杂的架构来融合辅助信息,而是使用一个通用的提示学习模板来表示商品和用户交互行为,利用T5语言模型中经过文本预训练的注意力头来捕捉用户交互历史和商品的文本的语义信息。TASTE展示了将预训练语言模型直接应用于推荐系统的优势。

表2:消融实验

如表2所示,我们进一步探索了提示学习建模、不同的负采样策略和我们的长用户商品交互建模方法的有效性。我们在基于批内负样本采样的对比学习训练的模型TASTE(Inbatch)的基础上探究了流行采样,随机采样和难负例采样(ANCE)的实验结果。使用从流行商品中采样的额外负样本TASTE(Popular Negs)会略微降低TASTE(Inbatch)的推荐性能,原因可能在于高频率交互的商品通常表达了用户的通用兴趣,并且很容易与不同的用户交互。TASTE(ANCE)的性能优于TASTE(Inbatch),但低于TASTE(Rand Negs)。这一现象表明,模型选择的难负例商品被用户交互的潜力也很高,这些也不是真正的负样本。此外,得益于我们的注意力稀疏化方法,TASTE性能实现了进一步的提升,证明了它通过建模更长期的用户-商品交互历史来学习用户偏好会更加精准。

表3:不同商品建模方式下模型的推荐行为

如表3所示,比较了T5-ID、TASTE w/o ID和TASTE三种采用不同商品建模方法的模型的推荐行为。T5-ID随机初始化商品ID向量表征并直接预测商品ID。TASTE w/o ID和TASTE均采用双塔架构,前者只使用商品属性,后者使用商品标识符和属性对商品进行编码。

如我们的评估结果所示,T5-ID在所有数据集的推荐结果中平均返回49.5%的流行商品,表明它在推荐商品时面临着流行偏差问题。TASTE在其推荐结果中减少了平均18.75%的流行商品。它使用文本表示商品,并利用文本匹配来校准T5-ID的面向流行商品的推荐行为。TASTE获得了更高的Bleu和Recall分数,证明了它在推荐更合适且文本相关的商品方面的有效性。此外,与TASTE w/o ID相比,TASTE在商品ID的帮助下获得了更高的Bleu和Dist分数。这表明商品ID可以作为一种提示,在商品属性之外提供额外的匹配信号,以更好地建模用户和商品之间的相关性。

图4:不同用户交互频率商品的推荐效果

如图4所示,实验比较了不同用户交互频率下的商品推荐效果。我们根据用户交互频率将商品分为两组,包括长尾商品和其他商品(比例为2:8)。TASTE在这些长尾商品上显示出比T5-ID更显著的推荐准确性,这说明了它在使用商品的标识符和属性学习商品向量表示商品可以有效地缓解推荐系统中的“冷启动”问题。同时表明,TASTE可以将预训练语言模型学习到的语言知识扩展到这些长尾商品的表示上,并通过文本匹配直接建模用户商品相关性。



4

总结

我们提出了一种基于文本匹配的序列化推荐(TASTE)模型,该模型用文本表示用户交互历史和商品,捕获文本匹配信号以对它们之间的相关性进行建模。

TASTE在广泛使用的序列化推荐数据集上达到了最先进的水平。它的性能优于以前的基于商品ID的方法,缓解了流行偏差问题并使用商品ID和属性更好地表示长尾商品。

值得注意的是,TASTE能够根据长期的用户-商品交互历史更好地建模用户行为,并返回更多与文本相关且多样化的商品来满足用户需求。

更多内容,点击下方关注:

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
现金换钥匙赶房客莫斯科十大著名景点三登雪山 Mt. Shasta 2023.07.08【首发】墨卓生物完成数千万Pre-B轮融资,加速商业化推广、打造国际领先的生科工具平台1折入!英国重奢𝘼𝙦𝙪𝙖𝙨𝙘𝙪𝙩𝙪𝙢,专柜同款Polo衫,舒适、透气、高品质!火了172年!国际重奢𝘼𝙦𝙪𝙖𝙨𝙘𝙪𝙩𝙪𝙢来了,又好穿又有品!!ICCV 2023 | ReDB:通过可靠、多样和类平衡的伪标签重新审视跨域3D目标检测UTMB 越野推进新型工业化厅局专稿 | 北京:以新型工业化推动首都经济高质量发展Texas Sunshine 2023ACM MM 2023 | 清华、华为联合提出MISSRec:兴趣感知的多模态序列推荐预训练一日登三峰 2023.07.29货机滑行偏出跑道,宁波机场通报1折入!穿过国际重奢𝘼𝙦𝙪𝙖𝙨𝙘𝙪𝙩𝙪𝙢的男人,才会明白什么是品质!比 JDK 最高快 170 倍,蚂蚁集团开源高性能多语言序列化框架 Fury1折入!穿过国际重奢𝘼𝙦𝙪𝙖𝙨𝙘𝙪𝙩𝙪𝙢的人,才是真正的有品!【几个神奇的地方】【A Few Magical Places】曝光!这种能量饮料在澳违法销售,咖啡因含量超标一倍!青少年群体中流行,一瓶卖$20人民日报评论员:为中国式现代化构筑强大物质技术基础——论贯彻落实全国新型工业化推进大会精神​SIGIR 2023 | 用于序列推荐的多兴趣预训练框架国际重奢𝘼𝙦𝙪𝙖𝙨𝙘𝙪𝙩𝙪𝙢中长款风衣,品位与优雅,兼顾帅气和女人味!给大模型生成文本发身份证:针对大模型生成文本的可编码水印技术利用别人的认知偏差赚钱《海龟交易法则》英语情景对话|The best soccer team顶刊TPAMI 2023!西电提出TIB:通过双流信息瓶颈检测未知物体比JDK最高快170倍,蚂蚁集团开源高性能多语言序列化框架Fury你不知道的并不等于没发生No Party For Cao Dong Commit Tour 2023|2023 草東沒有派對北美巡演李强出席全国新型工业化推进大会并讲话带母亲去逛奥特莱斯ICML 2023|CMU大牛全面总结「多模态机器学习」六大挑战:36页长文+120页PPT,全干货!马萨诸塞州 2023 年 STEM 周启动 主题为“您的 STEM 未来就是我们的 STEM 未来”第3年那1年内每100辆车有多少毛病文书公开课:如何通过文书打造“完美人设”?高级培训师来揭秘!换季大捡漏!国际重奢𝘼𝙦𝙪𝙖𝙨𝙘𝙪𝙩𝙪𝙢经典纯色T恤,买一送一!科研上新 | 第2期:可驱动3D肖像生成;阅读文本密集图像的大模型;文本控制音色;基于大模型的推荐智能体真没想到!国际重奢𝘼𝙦𝙪𝙖𝙨𝙘𝙪𝙩𝙪𝙢(雅格狮丹)风衣都让我们找来了(1折限时抢)KDD 2023 | WHEN异构时间序列分析模型:当Wavelet和DTW遇上Attention𝐂𝐚𝐥𝐧𝐢𝐊𝐞𝐚𝐧双皮奶内衣裤,软弹有度,上身0束缚~西湖大学刘晓东教授研究成果再登Nature:通过“格式化”细胞记忆,获得超能iPSCs!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。