WSDM 2023 | HGCL: 探索推荐系统中的异质图对比学习

科技

2023-04-05 05:04

@Paperweekly 原创 · 作者 | 陈梦如

单位 | 华南理工大学

研究方向 | 推荐系统

论文题目：

Heterogeneous Graph Contrastive Learning for Recommendation

收录会议：

WSDM 2023

论文链接：

https://arxiv.org/abs/2303.00995

代码链接：

https://github.com/HKUDS/HGCL

港大数据智能实验室

https://sites.google.com/view/chaoh

研究背景

近年来，图神经网络（GNNs）已经被广泛应用于推荐系统中，以编码图结构中存在的用户和商品之间的关系信息。其关键思想是聚合邻居信息来更新节点特征，并通过图网络层进行消息传递。然而，很多基于 GNN 的协同过滤模型仅编码同构的交互关系，且只在单一的用户-商品关系图上进行。而在现实推荐场景中，包含多种重要语义关系的复杂图结构（也称为异构图信息网络）是无处不在的，例如可能存在社交关系和基于商品知识的商品之间的连接关系。

因此许多研究者尝试基于功能强大的图神经网络去设计异构图学习模型，可以将其丰富的语义关系信息图编码成潜在的表征。但是异构图神经网络模型表征学习的潜在能力受限于稀疏的标签信息，可能导致产生质量不高的用户和商品的特征表示。

作为可以解决数据稀疏问题的技术，对比自监督学习能从无标签的数据中学习潜在的数据结构关系利用数据增强方法。其与图神经网络的结合称之为图对比学习也已经成为提升表示学习鲁棒性的有效方法。图对比学习的通用做法是研究两个图对比视角的特征表示的一致性。使正样本之间的特征相似性最大化而其余的负样本特征的距离推远。受之启发，我们利用图对比学习的潜在能力增强协同过滤的特征学习。

但是直接使用它来实现异构图关系学习是具有挑战性，因为辅助信息域视角和用户-商品交互信息域视角之间的依赖关系不是固定的而是多样性的。例如，由于样本个性化特质和各式的特定于用户的行为模式导致不同的用户受朋友影响是不同的。从而盲目的增强用户的偏好特征学习没有考虑每个个体行为的特性会带来模型的次优化效果。总之，此模型需要解决以下两个问题：1）如何实现有效地跨关系视角的知识转换；2）如何实现个性化增强的异构图对比学习。

模型介绍

本文提出了一个新颖的异构图对比学习框架，具体介绍如下。

2.1 基于异质图关系的特征学习

本文采用基于图神经网络的异构图对比学习框架，与其他异构图特征学习方法不同的是，它不依赖于人工设计的元路径或随机游走等方式来学习节点特征的相似性，而是分别对不同的语义关系编码形成图邻接矩阵。在每层网络的输出中，通过跨关系视图的特征融合获取潜在的高阶语义信息，并输出用户和商品在两个协同关系下的特征表示。

2.2 跨视图的元学习神经网络

我们的模型旨在通过引入用户社交关系和商品之间的连接关系来增强协同过滤。然而，这些额外的关系对于不同的用户具有不同的影响，因此我们采用个性化的知识转换网络来从辅助信息域视角获取特定知识，以指导特定用户偏好的学习。我们提出了一个跨视图的元神经网络，可以实现定制化的关系协同知识学习机制。整个实现过程主要分为元知识提取和跨视图的个性化知识转换两个部分。

元知识提取是为了构建个性化的特征映射机制函数，从辅助域视角（user-user，item-item）到目标交互行为域视角（user-item）。简单来说，元知识提取就是针对每个参与个体，基于其个体特质信息和特定的行为模式，通过映射函数对辅助域信息与目标域特征之间的依赖关系或者影响进行隐含的量化。在用户和商品方面，元知识提取方法如下：

本文中设定的元知识包含了两个待转换关系视角的信号依赖相关的上下文知识表示，例如对于用户方面，其元知识包含了用户特征表示、用户所交互过的商品特征表示以及目标交互信息的表示。商品侧同理。联合这三个维度的特定语义信息，产生的元知识可以很好地折射出极其重要且相关的上下文信息，有助于实现跨视图的特征个性化转换。

经过元知识学习器（两层全连接层网络）学习后，提取到的元知识会为每个个体产生一套特定的参数矩阵，可作为知识转换网络的特定参数，实现个性化的特征转换。为了减少参数量，本文采用矩阵因式分解方法生成两个维度小于原始特征维度的矩阵。

接下来，我们利用输出的参数矩阵和非线性映射函数来构建模型的特定化转换网络，针对每个样本，实现对辅助域特征表示的个性化转换，从而对齐目标域特征空间。

上述过程针对跨视图用户特征的特定化计算方法。商品特征的特定化也采用了相同的方式。元神经网络的训练通过滤除从辅助视角到用户-商品视角匹配过程中的噪声信号，使其可以有效地训练。

2.3 异质图对比学习的增强

我们方法采用异质关系图中多视图关系（用户侧：社交关系图的用户特征和交互关系图的用户特征；商品侧：商品属性关系图的商品特征和交互关系图的商品特征）。跨视图的特征对比学习也增强了模型特征和关系的学习和鲁棒性，归因于其产生的更多的监督信号来解决数据稀疏性问题。

对辅助域特征进行个性化转换后对齐于用户-商品交互视角的特征空间，辅助域视角的特征充当了有效的正则化项来促进用户-商品交互行为的建模利用自监督信号。而且对齐方式是自适应的通过元神经网络的个性化映射函数。

将对齐后的辅助域特征，而不是原始异质关系学习模块输出的辅助域特征，与交互关系视角的特征进行对比学习，用户侧的 InfoNCE 损失函数表达式：

同理，我们可以得到商品侧的对比学习损失。

实验结果

在三个常用的数据集（Yelp、Epinions 和 Ciao）上，我们进行了实验，并与多种类型的推荐算法模型进行了比较。

从对比结果来看，引入自监督学习方法（如 Heco, MHCN, SMIN）可以使模型的效果得到提升，而本文所提出的 HGCL 相比较于使用传统的对比学习方法，推荐性能进一步提升，也表明了本文所描述方法的有效性。我们做了消融实验来进一步验证引入特定化的异构图对比学习方法是必要的且有利于模型效果的提升。