WWW 2023 | 无图协同过滤
研究方向 | 推荐系统
论文题目:
收录会议:
论文链接:
代码链接:
港大数据智能实验室
https://sites.google.com/view/chaoh
图神经网络(GNN)方法通过迭代的信息传播机制,能够准确地捕捉图数据的拓扑结构,得到较好的低维图表征。受到这一启发,近年来出现了多种基于图神经网络的协同过滤(CF)方法,通过对用户、商品交互图的准确表征学习,取得了较好的个性化推荐效果。尽管现有方法已经取得了很大的成功,我们认为基于 GNN 的协同过滤方法在根本上存在两个重要的缺陷:
过平滑和噪音问题。GNN 固有的高阶信息传播机制,可能对节点表征进行过度的平滑,使其过于相似而丧失节点本身的独有特征。同时,推荐系统中观测到的用户、商品交互中,不可避免地含有噪音信息,如用户误点、流行度 bias。GNN 迭代的信息传播机制,会同时将噪音信息进行传播,从而阻碍对真正交互信息的有效学习。
模型可扩展性问题。为了捕捉多跳的交互关系,GNN 模型需要进行迭代的信息传播,从而将每个节点的表征传递至多跳外的其他节点。这一过程使得 GNN 模型在推理阶段,需要进行重复多次的全局信息传播,导致了其相对 MLP 等简单模型更大的开销,使其难以应用到大规模数据上。
为了解决以上 GNN-based CF 模型中的问题,我们需要应对以下挑战:
在用户、商品交互建模中,如何以一种高效的方式将全局、高阶的协同信号进行保留。
在捕捉高阶协同关系的同时,如何使模型能够对抗过平滑和噪音问题。
具体来说,图(a)显示,SimRec 能够在保持极低的推理时间前提下,达到甚至更好的模型预测效果;图(b)显示,面对两个有着不同交互兴趣、但又被噪音边所连接的用户来说,SimRec 中基于多层感知机(MLP)的学生模型,相对于 GNN 模型,能够显著识别出这种噪音连接关系,降低两个用户的表征相似性;图(c)显示,由于更好的对抗过平滑能力,SimRec 模型能够学习分布更广、更均匀的低维节点表征。
总的来说,本文主要做出了以下贡献:
我们提出了一种对比知识蒸馏方法,将基于 GNN 的 CF 模型压缩为一个简单的 MLP 推荐模型,同时提升模型的效果和效率。
我们从两个方面进行了理论分析:i)本文的蒸馏方法能够进行自适应的高阶平滑;ii)本文方法能够显著扩充自监督信号。
我们在公开数据集上进行了全面的实验,验证了本文所提出的 SimRec 方法能够显著提升 CF 任务的有效性。
模型介绍
本章介绍所提出的 SimRec 方法,主要包括基于 GNN 多教师模型、基于 MLP 的学生模型,从 prediction-level 和 embedding-level 两种角度进行的知识蒸馏,以及自适应的对比学习正则约束。模型框架如下图所示。
2.1 通用协同过滤架构
基于上述两种模型优劣的讨论,本文提出使用 GNN 模型作为教师模型,使用 MLP 模型作为学生模型,以求同时保持两者的优势,摒弃两者的劣势,得到准确且高效的 CF 模型。
2.2 对比知识蒸馏
在预测结果蒸馏之外,SimRec 进一步进行了表征蒸馏,以对齐教师和学生模型的隐含表征。我们采用对比学习方法,拉近两个模型对同一个用户、商品节点给出的表征,推远不同节点的表征。在这一过程中,教师模型的表征不进行更新。为了进一步强调 GNN 模型的高阶特性,我们仅利用 GNN 模型的高阶表征。通过这一方法,不仅进一步对齐了两个模型,也带来了更高的蒸馏效率。
2.3 自适应对比正则
为了防止 GNN 模型中的过平滑和噪音信号,通过知识蒸馏对学生模型产生负面影响,SimRec 受到对比学习损失启发,通过全局性地推开任意两点的表征,对学生模型的表征学习进行正则。为了更好地区分过平滑信号和正常的平滑信号,SimRec 计算蒸馏任务的梯度与主任务梯度之间的相似性,根据这一相似性对对比正则进行自适应的权重调整。
实验结果
我们在 Gowalla、Yelp、Amazon 三个数据集上进行了对比实验,数据集统计信息如下
在实验中,SimRec 取得了稳定优于基线方法的模型效果,并通过 t-test 验证了效果提升的显著性。同时我们观测到,非 GNN 的基线方法,如 NCF、AutoR,只能取得较差的模型效果,但 SimRec 优越的预测性能同样是通过简单的 MLP 网络得到,这充分验证了使用蒸馏方法对简单 MLP 方法进行监督所能带来的巨大提升。
我们进行了详尽的消融实验,从以下结果可以看出,SimRec 的各个模块,包括两种蒸馏方法和自适应的对比正则,不仅可以带来最终模型效果的提升,还能够带来更快的模型优化速度。
此外,通过在大规模数据集上的实验,我们验证了 SimRec 模型在大规模数据集上,不仅仍然能够取得较好的效果,也能通过免除对大规模图结构数据的处理、采样,达到显著更高的模型效率。
总结
本文提出了一种对比知识蒸馏方法,能够自适应地从 GNN 教师模型中迁移知识到简单的多层感知机模型,显著提升了推荐模型的鲁棒性和效率。自适应的对比正则损失能够约束知识蒸馏,得到具备更好抗过平滑和噪声能力的用户、商品表征。通过全面的实验,我们验证了 SimRec 模型在效果和效率上的优越性。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者