Redian新闻
>
​NeurIPS 2023 | PropCare: 面向因果关系推荐系统的倾向性估计方法

​NeurIPS 2023 | PropCare: 面向因果关系推荐系统的倾向性估计方法

科技

©PaperWeekly 原创 · 作者 | 刘中舟
单位 | 新加坡管理大学博士生
研究方向 | 推荐系统


摘要
本文由来自 Singpore Management University 和 A*STAR 的作者提出了一种估计在 causalily-based 推荐系统中估计 propensity score 的方法。相比传统的推荐系统仅关注用户-商品交互概率,causality-based 推荐系统更关注推荐这个行为对用户-商品交互概率的影响,因此对优化用户、商品和平台侧的利益具有更好的意义。
本文的目的在于试图解决 causality-based 推荐系统中的一个前置的子问题。即在以往提出的 causality-based 推荐系统都在训练和/或推理阶段要求 exposure(即商品是否被推荐/展示)数据以及 propensity(即商品被推荐/展示的概率)已知,而在现实世界中这类数据往往由于技术或隐私原因无法获得,这导致 causality-based 推荐方法无法得到广泛应用。
虽然过去也有一些 propensity 估计的方法被提出,但是他们要么要求 exposure 数据已知,要么因为缺乏合理的约束导致精度不高。在本工作中,作者通过提出一种PropCare(Propensity Estimation for Causality-based Recommendation)方法在一种更为可行的场景下进行 propensity 估计,即不依赖于 exposure 数据。

我们发现,仅仅需要交互数据已知,将 propensity 和商品的流行度以 pair-wise 的形式进行约束,估计出来的结果就可以很好的用于 causality-based 推荐。



简介

推荐系统在商业上的目的包括提高销量或者提高用户参与度,为了达到这个目的,我们通常需要知道过往的用户-商品交互情况,例如商品是否被某个用户点击或者购买。经典的推荐系统范式就是预测用户-商品交互概率,并为用户推荐交互概率最高的商品。但是这些经典方法偶忽略了推荐背后的一个因果逻辑:假如一个商品在不被推荐的情况下用户与之发生交互的概率依旧很高,那我们是否还有必要去推荐它?

为了回答这个问题,过去有许多工作对其进行了研究,相比传统推荐模型只关注用户-商品交互概率的高低,这些工作更关注不同干预下(如推荐或展示一个商品)对用户行为的相对变化(如点击或购买)。这种所谓的变化就是因果效应(causal effect)。这些方法分别计算不同干预措施下的用户行为,然后计算因果效应,并将因果效应最高的商品推荐给用户。这就是 causality-based 推荐系统的范式。

然而,当前的 causality-based 推荐系统假设 exposure 数据(例如在数据集里商品是否被推荐/展示给用户)和 propensity(例如在数据集里商品是否被推荐/展示给用户的概率)是已知的。这与现实情况不符合的,在现实中这类数据通常由于隐私和技术问题难以取得。

因此,本文提出了 PropCare 试图在一种更为现实和可行的场景下完成 causality-based 推荐,即在 expousure 和 propensity 数据未知的情况下,估计出他们的值,从而填补了当前 causality-based 推荐对数据的要求和现实情境下相关数据不可访问之间的不一致性。
之前的虽然也有一些 propensity 估计的方法被提出来,但是他们要么仍然需要 exposure 作为训练标签或已知变量,要么因为缺乏 propensity 和流行度之间的 pair-wise 的约束而不够稳定,本文和之前方法的区别见图一。
具体来说,本文提出一种 pair-wise 的假设,将 propensity 和商品的流行度(popularity)结合并约束,我们便可以在 exposure 数据未知的前提下估计出propensity 的值。本文的贡献包括:
1. 本文填补了已有方法对 exposure/propensity 数据的要求和现实中相关数据可获取性不足之间的空缺;
2. 本文提出了一种 pair-wise 的假设,将商品的 propensity 和 popularity 进行了一定程度的约束,提高了估计的准确性和稳定性;

3. 本文全面分析了 PropCare 的有效性。

▲ 图一:本文方法与以往方法对比



Propensity学习方法

3.1 交互模型

交互模型是一种广泛用于联系 propensity、interaction 和 relevance 之间关系的模型,它将一个用户-商品之间的 propensity()、interaction(交互概率,)和 relevance()建模为

因此,在交互数据 interaction 已知的情况,我们可以用 propensity 模型 和 relevance 模型  对交互概率进行 point-wise 的拟合,如下式里的 
但正如简介里所说,这种简单的估计不能学到有意义 propensity 或是  relevance,因为 是相关联的,单个的 point-wise 损失函数会让两个函数坍缩成一个。这也是为什么以往的 propensity 估计方法在现实场景下并不可用的理由。

3.2 核心假设

根据以往研究 [1] 中得到的观察,越是流行的商品被推荐/展示的概率越高,本文提出了如下假设。
考虑一个用户 和一对商品 ,假设商品 更流行,且两个商品被用户 交互的概率相似,那么用户 更有可能被推荐/展示给用户
这个假设的一个直观阐释就是,如果一个用户对商品 和商品 的交互概率相似的话,但商品 被推荐给了用户,商品 却没有,一个合理的解释是因为商品 更流行。本文提出这个假设,旨在对用户-商品的交互概率上增加一个约束(使两者相似),从而(1)清除交互概率对 exposure 的影响。(2)同时将流行度对推荐/展示的作用与其他因素隔离开来。
为了验证这个假设的可靠性,本文进行了实验验证。具体而言,本文通过调整交互概率的相似度,来观察三个数据集中符合假设的商品对()的比例,结果见图二。

▲ 图二:假设验证

图二表明,当 足够相似时,所有数据集的样本基本符合假设,这验证了该假设的可靠性。作者将以上假设进行整理,用数学语言表述出来,形成以下的损失函数。
其中 是用来控制交互概率的相似性的权重函数,当两者越相似,该 loss 的权重越大,即流行度对 propensity 的约束越强。
3.3 学习Propensity
综上所述,本文使用以下损失函数对 propensity 进行优化。
考虑到 都只对 propensity 进行局部优化,所以本文额外引入一个 Beta 分布,使用 KL 损失函数从全局视角上约束 propensity,以便学到的 propensity 具有更好的稳定性。
当模型训练至收敛时,我们即可以用 模型得到用户-商品之间的 propensity 的值。由于 propensity 本身就是 exposure 的概率值,所以我们也可以很容易的通过 propensity 估计得到二进制的 exposure 值。



Casuality-based 推荐
由于本文贡献主要在于提出一种 propensity 的估计方法而不涉及 causality-based 推荐系统本身算法的设计,所以直接使用 DLCE [2] 作为基础推荐模型。由之前的步骤我们可以得到估计的 propensity ,exposure ,如果用它们替换真实值 ,我们就可以使用以下的 loss 来优化评分函数
其中 是超参,用来控制评分函数的分布。因此,在整个 PropCare 的训练过程中我们都不必获得 propensity 和 exposure 的真实值。在训练完成后,对目标用户,我们可以计算出他和候选商品之间的 作为排序和推荐的依据。



实验结果

由于 causality-based 推荐系统在评估中需要用到 propensity 和 exposure,故本文在实验里使用了三个仿真数据集,分别为基于 DunnHumby 公开数据生成的 DH_original,DH_personalized 和基于 MovieLens 数据生成的 ML 数据集。虽然为了评估目的,这些数据集都含有 propensity 和 exposure 数据,但本文提出的 PropCare 在训练和推理过程中都无须涉及到它们。

本文包含两个主要实验,分别是利用估计的 exposure 和 propensity 评估 causality-based 推荐的效果(使用 DLCE [2] 作为基础模型),和评估exposure 与 propensity 本身是否准确估计。

▲图三:实验结果,包括 casality-based 推荐的效果指标和 Propensity/Exposure 估计的准确率指标

从 Table 2 中可以看出,利用 PropCare 估计的 propensity 和 exposure,可以达到相当优秀的推荐效果,仅次于利用其真实值(Ground-truth)的推荐。其在 Table 3 的估计准确度比较中也取得了较好的表现。这说明 causality-based 推荐效果受多种因素的影响,包括 propensity 和 exposure 估计准确性的各种指标。为了更进一步地阐明这种影响,作者在图四进行了一系列评估。

▲ 图四:影响 causality-based 推荐效果的因素分析

结果显示,causality-based 推荐效果的好坏对 exposure 是否估计准确更加敏感,propensity 是否准确估计也有影响,但相对不是特别敏感。因此这也解释了为什么图三里 Table3 中即使 PropCare 在 KLD 和 Tau 不是最优的情况下仍然在 causality-based 推荐强于其他 baseline。


结语

本文介绍了 PropCare,一种面向 causality-based 推荐的 propensity 估计方法。相对于以往方法,PropCare 无需以来真实的 propensity 和/或 exposure 数据进行训练和推理,因此具有更高的灵活性和通用性。实验表明,PropCare 能较好的利用优化得到的 propensity 和 exposure 进行 causality-based 推荐并取得优秀的推荐效果。


参考文献

[1] Yang Zhang, Fuli Feng, Xiangnan He, Tianxin Wei, Chonggang Song, Guohui Ling, and Yongdong Zhang. Causal intervention for leveraging popularity bias in recommendation. In Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval, pages 11–20, 2021.
[2] Masahiro Sato, Sho Takemori, Janmajay Singh, and Tomoko Ohkuma. Unbiased learning for the causal effect of recommendation. In Proceedings of the 14th ACM Conference on Recommender Systems, pages 378–387, 2020.


更多阅读



#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道:

• 投稿邮箱:[email protected] 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编



🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧


·
·

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
接收率26.1%,NeurIPS 2023录用结果出炉港大开源推荐系统新范式RLMRec!大模型加持,准确提炼用户/商品文本画像录用率26.1%!NeurIPS 2023论文放榜,马毅田渊栋团队研究被接收NeurIPS 2023 | Backbone之战:计算机视觉任务模型大比较Agent4Rec来了!大模型智能体构成推荐系统模拟器,模拟真实用户交互行为RecSys 2023最佳短文奖:推荐系统中的可解释用户留存优化框架NeurIPS 2023 | 任意模型都能蒸馏!华为诺亚提出异构模型的知识蒸馏方法​NeurIPS 2023 | RayDF:实时渲染!基于射线的三维重建新方法Nature Neuroscience | 首次发现!西湖大学贾洁敏团队揭示神经元调控大脑血流新路径JMT 2023.08.20NeurIPS 2023|北京大学提出类别级6D物体位姿估计新范式,取得新SOTA争夺话语权之战NeurIPS 2023 Spotlight | 面向通用决策场景的MCTS基准框架:LightZeroNeurIPS 2023 | 李飞飞团队提出SiamMAE:孪生掩码自编码器,刷榜视觉自监督方法!免费领 | TED系列科普动画《How Things Work》,带孩子了解一切万物的因果关系、循环秩序及科普!JMT 2023.08.21女儿正式开学第一天和其它NeurIPS 2023 | 王利民团队提出MixFormerV2:首个基于ViT并在CPU设备实时运行的目标跟踪器!Nature Neuroscience | 仇子龙/程田林团队成功利用全脑单碱基编辑技术改善孤独症小鼠核心症状《雁双飞》&《春庭雪》JMT 2023.08.23NeurIPS 2023 | 超越YOLO系列!华为提出Gold-YOLO:实时目标检测新SOTATKDE 2023 | 超越共现!大连理工提出全新多模态会话推荐系统从108篇顶会论文看大语言模型时代的推荐系统NeurIPS 2023 | 中科院&旷视提出DropPos:全新的自监督视觉预训练代理任务NeurIPS 2023 | LIBERO:机器人持续学习基准环境从ID-based到LLM-based:可迁移推荐系统发展NeurIPS 2023 | 全新机械手算法:辅助花式抓杯子,GTX 1650实现150fps推断NTU-TOM教授:AI算法在餐饮推荐系统中的应用与优化|收获一作论文与导师推荐信!US News 2023俄乌战况12NeurIPS 2023 | RevCol V2: 当解耦学习遇上自监督训练,视觉预训练的思路北大全新「机械手」算法:辅助花式抓杯子,GTX 1650实现150fps推断|NeurIPS 2023华为预售Mate 60 Pro和Mate 60 Pro+SHEIN有意竞购Topshop;耐克起诉新百伦、斯凯奇;Gopro累计净亏损4700万... | 刀法品牌热讯NeurIPS 2023 | 旷视张祥雨等人提出RevColV2:当解耦学习遇见自监督训练!视觉预训练新思路让大模型看图比打字管用!NeurIPS 2023新研究提出多模态查询方法,准确率提升7.8%NeurIPS 2023 Spotlight | 探索不变学习中的充分必要因果港大联合百度 WSDM 2024 | 如何让LLMs助力推荐系统?图数据增强徒步,阿根廷智利边境第24界碑小径
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。