NeurIPS 2022 | 基于结构聚类的异质图自监督学习

公众号新闻

2023-01-19 11:01

来源 | 北邮 GAMMA Lab

论文作者：

杨亚明，管子玉，王哲，赵伟，徐偲，陆维港，黄健斌

论文单位：

西安电子科技大学，计算机科学与技术学院

引言

现阶段，图（Graph）上的自监督学习大多都遵循图对比学习框架，这些方法通常需要先构造一系列的正样本对以及负样本对，然后通过在低维表示空间中拉近正样本并且推远负样本来学习节点/图的表示。目前，研究者们已经探索了节点丢弃、连边扰动等各种生成正样本的策略，以及特征打乱、批次采样等各种生成负样本的策略。然而，已有研究工作表明，这些正、负样本的生成策略是数据集敏感的。

例如，GraphCL 通过系统性的研究发现连边扰动对社交网络比较有益，但是对生物化学网络可能有负面作用。InfoGCL 发现负样本对于更稀疏的图可能更有益。因此，在实践中，研究者们需要根据数据集以及手头任务的实际情况来探索、寻找合适的构造正、负样本的策略，这限制了已有方法的灵活性与泛化性。为了有效地应对这个问题，在本项研究中，我们提出一个基于结构聚类的异质图自监督学习方法 SHGP，它无需任何正样本或者负样本。

方法

▲ 图1 模型整体架构图

我们的主要思路是通过对异质图执行结构聚类来产生聚类标签，并利用聚类标签来监督异质图神经网络的训练。如图 1 中的模型架构图所示，SHGP 主要包括两个模块，Att-HGNN 模块可以被实现为任何基于注意力聚合机制的异质图神经网络（我们采用 ie-HGCN 模型，请参考原文），它的作用是计算节点的表示：

Att-LPA 模块将经典的标签传播算法 LPA 以及 Att-HGNN 中的注意力聚合机制进行了有机的结合，它的作用是在异质图上执行结构聚类，并将得到的聚类标签当做伪标签：

这两个模块共享相同的注意力聚合机制，即，Att-HGNN 和 Att-LPA 在每一次前向过程中都执行相同的注意力聚合，区别是 Att-HGNN 聚合的是（投影后的）特征，而 Att-LPA 聚合的是上一轮产生的伪标签，两者都有着完全相同的注意力聚合系数。我们在 Att-HGNN 的顶层构建一个 softmax 分类器，并将节点表示输入到其中来预测节点标签。模型的损失为节点预测与节点伪标签之间的交叉熵：

计算得到损失以后，我们利用梯度下降来优化所有的模型参数：

随着优化过程的进行，模型会学习到越来越好的注意力分布（包括其他参数）。更好的注意力分布则会在下一轮迭代中促进 Att-HGNN 和 Att-LPA 分别产生更好的节点嵌入（以及预测）和伪标签，进而促进模型学习得到更好的参数。这样，两个模块可以紧密地相互作用，并相互增强对方，最终使得模型学习得到具有判别性的节点表示。

实验

我们对节点的预训练表示进行聚类。在每个数据集上，我们利用 𝐾-means 算法来将节点的表示向量进行聚类。实验结果展示在图 2 中 , 可以看到，SHGP 在该任务中展现了最优的整体性能。特别是，在 MAG 数据集上，SHGP 的性能显著地超过了其他基线方法，显示了它的优越性。

▲ 图2 节点聚类结果

我们将模型学习到的节点表示进行可视化。首先利用 t-SNE 算法将节点的表示向量映射到二维欧式空间，然后利用 matplotlib 将其进行可视化，并根据节点的真实标签对其进行染色。图 3 中展示了可视化结果，可以看到，SHGP 的每个类都有着很好的内聚性，而类与类之间的界限非常清晰光滑。这说明 SHGP 能够在不需要任何真实标签的情况下，有效地学习到具有判别性的节点表示。