AAAI 2023 | 基于可学习图增强的邻居监督图对比学习

科技

2023-09-06 04:09

©PaperWeekly 原创 · 作者 | 沈笑

单位 | 海南大学副教授

研究方向 | 图神经网络、图对比学习等

邮箱 | [email protected]

本文介绍一篇 AAAI-2023 发表的论文，基于可学习图增强的邻居监督图对比学习 [1]。

论文题目：

Neighbor Contrastive Learning on Learnable Graph Augmentation

论文作者：

沈笑，孙德望，潘世瑞，周犀，杨天若

作者单位：

海南大学，澳大利亚格里菲斯大学，加拿大圣弗朗西斯塞维尔大学

论文链接：

https://ojs.aaai.org/index.php/AAAI/article/view/26168

论文代码：

https://github.com/shenxiaocam/NCLA

前言

近几年来，对比学习在 CV 和 NLP 领域的无监督表示学习任务上展现了显著的成果。受此启发，研究者们提出一系列图对比学习（Graph Contrastive Learning）方法 [2, 3]，通过结合图神经网络和对比学习，旨在从未标记的图数据中学习嵌入表示，以缓解图数据标签缺乏的问题。

现有的图对比学习方法通常采用人为设计的图增强策略（Handcraft Graph Augmentation），如属性掩蔽 [4]、属性扰动 [5]、删除边 [3]、丢弃节点 [6] 等，生成两个或多个具有差异性的增强视图。然而，由于图数据的多样性，难以找到可适用于不同图数据集的图增强策略，而需要依据领域先验知识或反复试错的方式手动为每个图数据集选择合适的图增强 [6]，这大幅限制了图对比学习方法的效率和泛化能力。

另外，现有的人为图增强，有可能删除某些关键的节点或边，严重损坏下游任务的相关信息，导致低质量的图嵌入 [4]。另一方面，现有的图对比学习方法通常将 CV 领域提出的对比损失（如 InfoNCE [7]、NT-Xent [8]）直接应用于图结构数据 [3, 6, 9, 10]，而忽略了图像与图数据的本质区别。

需要注意的是，InfoNCE 和 NT-Xent 只允许每个锚点构建一对正样本，即同一节点在不同视图中的嵌入构成一对正样本，而将其他与锚点不同的节点均视为负样本。这意味着锚点的邻居节点也视为负样本，进而被推离锚点。然而，大部分的图数据都基于同质性假设，即相连的节点应彼此相似 [11]。因此，直接采用 CV 领域提出的 InfoNCE 和 NT-Xent 作为图对比损失，由于忽略考虑图拓扑结构信息，将导致生成的节点嵌入与图的同质性假设相矛盾。

方法

为了改善现有的图对比学习方法在图增强和图对比损失两方面的缺陷，该论文提出了基于可学习图增强的邻居监督图对比学习模型（Neighbor Contrastive Learning on Learnable Graph Augmentation, NCLA）[1]。NCLA 的模型框架如 Fig.1 所示。

首先， NCLA 采用多头图注意力机制自动学习 K 个具有不同自适应拓扑邻接矩阵的增强视图。其次，对于每个增强视图，采用独立的图编码器学习对应的节点嵌入。需要注意的是，不同的增强视图采用不共享的图增强和图嵌入可学习参数，从而保证生成的视图之间具有一定的差异性。

此外，基于多头图注意力机制的可学习图增强，可使得不同的视图保留与原图一致的节点和边，而同一条边在不同视图中具有不同的注意力权重，这可防止对原始拓扑结构的不适应修改，避免破坏下游任务的相关信息。此外，基于多头图注意力机制的图增强方法端到端自动学习，可兼容于不同的图数据集，而不需要依靠领域知识进行人为选择。

另一方面，当前的图对比学习方法通常直接采用 CV 领域提出的 InfoNCE 和 NT-Xent 作为对比损失。这些损失忽略考虑图的拓扑结构信息，将邻居节点视为锚点的负样本，进而推离锚点，这与图的同质性假设相矛盾。针对此问题，在 NT-Xent 的基础上，该论文提出一种新的邻居监督图对比损失（Neighbor Contrastive Loss），采用拓扑结构作为监督信号来定义点-点图对比学习的正样本对和负样本对。

具体来说，不同于 NT-Xent 中每个锚点只能构建一对正样本，邻居监督图对比损失允许每个锚点具有三类正样本，分别是 1）来自不同视图的同一节点；2）来自同一视图的邻居节点，和 3）来自不同视图的邻居节点。反之，来自同一视图和不同视图的非邻居节点将被视为锚点的两类负样本。Fig. 2 展示了三种图对比损失，InfoNCE、NT-Xent 和邻居监督图对比损失中正负样本对的差异。

给定两个视图，选择视图 1 的第个节点作为锚点，其关联的邻居监督图对比损失定义如下：

其中，是温度系数，表示相似度度量（论文中采用内积），是节点的邻居节点的数量，分母的后两项可分解为：

由于两个视图是对称的，选择视图 2 的第个节点作为锚点，可根据上式类似地定义其关联的邻居监督图对比损失。依次选择视图 1 和视图 2 中每个点作为锚点，总的邻居监督图对比损失定义如下：

节点分类实验

论文在 5 个基准图数据集，Cora、CiteSeer、PubMed、Amazon-Photo 和 Coauthor-CS 上进行了节点分类任务的实验测评，对比了 11 种 SOTA baselines，包括半监督图神经网络（GCN [12]，GAT [13]），半监督图对比学习方法（CGPN [14]，CG3 [10]），和自监督图对比学习方法（DGI [5]，GMI [15]，MVGRL [2]，GRACE [3]，GCA [4]，SUGRL [16]，AFGRL [17]）。NCLA 也属于自监督图对比学习方法，即在学习节点嵌入的过程完全没有使用下游任务的标签信息。

节点分类的实验结果如表 1 所示。当节点标签极其缺乏，即每类只有 1、2、3 和 4 个带标签的节点时，NCLA 在所有数据集上的准确率始终高于 SOTA 图对比学习方法。而当拥有更多已知标签时，即每类有 20 个带标签的节点，NCLA 可获得最佳或次优的准确率，与 SOTA 图对比学习方法相当。

当节点标签更为稀缺时，NCLA 比 baselines 的提升更为显著，这是由于两方面的原因：

1）图增强：图对比学习 baselines 采用的人为图增强有可能严重破坏原始拓扑。当节点标签更稀缺时，这种损坏的拓扑结构会更严重地降低节点分类准确性。相反，NCLA 提出的基于多头图注意力的可学习增强方案可避免对拓扑结构的不适当修改。

2）图对比损失：当节点标签非常有限时，考虑邻居节点的信息可显著提升节点分类的准确性。因此，与图对比学习 baselines 所采用的忽略拓扑结构的对比损失相比，NCLA 提出的邻居监督图对比损失可取得更好的节点分类准确性。

总结

GAT 和图对比学习都是当前图表示学习领域极其广泛应用的技术。本文介绍的基于可学习图增强的邻居监督图对比学习方法 NCLA，可被视为采用点-点图对比学习来对比 multi-head GAT 中不同的 head。实验结果表明，当节点标签非常有限时，自监督的 NCLA 方法可取得比半监督的 multi-head GAT 更高的准确率，这表明图对比学习的确有助于学习更高质量的节点嵌入。

NCLA 方法的主要创新点如下：

1）现有的图对比学习方法通常采用人为设计的图增强策略，需要手动为每个图数据集选择合适的图增强参数，极大限制了图对比学习方法的效率和泛化能力。NCLA 方法采用多头图注意力机制端对端地自动学习图增强参数，可自动兼容到不同的图数据集，具有更强的泛化能力。另外，相比于人为图增强策略，NCLA 方法提出的基于注意力机制的可学习图增强方案更安全，可在不破坏下游任务相关信息的条件下，生成具有一定差异性的增强视图。

2）现有的图对比学习方法通常直接采用 CV 领域提出的对比损失，而忽略考虑了图的拓扑结构信息，从而导致学到的节点嵌入表示与图的同质性假设相矛盾。NCLA 方法设计了针对图结构数据的邻居监督图对比损失，采用拓扑结构作为监督信号来定义图对比学习中的正负样本。

3）在标准的图对比学习范式中，图增强和节点嵌入学习通常分两个阶段进行，可能需要两级优化。而在 NCLA 方法中，图增强和节点嵌入是一体化端到端学习的。

4）实验结果表明，当节点标签极其缺乏时，自监督的 NCLA 方法取得的节点分类准确率始终优于 SOTA（自监督和半监督）图对比学习方法，甚至优于一些半监督图神经网络。

参考文献

[1] X. Shen, D. Sun, S. Pan, X. Zhou, and L. T. Yang, "Neighbor Contrastive Learning on Learnable Graph Augmentation," in Proceedings of the AAAI Conference on Artificial Intelligence, 2023, pp. 9782-9791.

[2] K. Hassani and A. H. Khasahmadi, "Contrastive multi-view representation learning on graphs," in International Conference on Machine Learning, 2020, pp. 4116-4126.

[3] Y. Zhu, Y. Xu, F. Yu, Q. Liu, S. Wu, and L. J. a. p. a. Wang, "Deep graph contrastive representation learning," 2020.

[4] Y. Zhu, Y. Xu, F. Yu, Q. Liu, S. Wu, and L. Wang, "Graph contrastive learning with adaptive augmentation," in Proceedings of the Web Conference 2021, 2021, pp. 2069-2080.

[5] P. Velickovic, W. Fedus, W. L. Hamilton, P. Liò, Y. Bengio, and R. D. J. I. Hjelm, "Deep Graph Infomax," vol. 2, no. 3, p. 4, 2019.

[6] Y. You, T. Chen, Y. Sui, T. Chen, Z. Wang, and Y. J. A. i. N. I. P. S. Shen, "Graph contrastive learning with augmentations," vol. 33, pp. 5812-5823, 2020.

[7] A. v. d. Oord, Y. Li, and O. J. a. p. a. Vinyals, "Representation learning with contrastive predictive coding," 2018.

[8] T. Chen, S. Kornblith, M. Norouzi, and G. Hinton, "A simple framework for contrastive learning of visual representations," in International conference on machine learning, 2020, pp. 1597-1607.

[9] J. Qiu, Q. Chen, Y. Dong, J. Zhang, H. Yang, M. Ding, K. Wang, and J. Tang, "Gcc: Graph contrastive coding for graph neural network pre-training," in Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 2020, pp. 1150-1160.

[10] S. Wan, S. Pan, J. Yang, and C. Gong, "Contrastive and generative graph convolutional networks for graph-based semi-supervised learning," in Proceedings of the AAAI Conference on Artificial Intelligence, 2021, pp. 10049-10057.

[11] M. McPherson, L. Smith-Lovin, and J. M. J. A. r. o. s. Cook, "Birds of a feather: Homophily in social networks," pp. 415-444, 2001.

[12] T. N. Kipf and M. J. a. p. a. Welling, "Semi-supervised classification with graph convolutional networks," 2016.

[13] P. Veličković, G. Cucurull, A. Casanova, A. Romero, P. Lio, and Y. J. a. p. a. Bengio, "Graph attention networks," 2017.

[14] S. Wan, Y. Zhan, L. Liu, B. Yu, S. Pan, and C. J. A. i. N. I. P. S. Gong, "Contrastive graph poisson networks: Semi-supervised learning with extremely limited labels," vol. 34, pp. 6316-6327, 2021.

[15] Z. Peng, W. Huang, M. Luo, Q. Zheng, Y. Rong, T. Xu, and J. Huang, "Graph representation learning via graphical mutual information maximization," in Proceedings of The Web Conference 2020, 2020, pp. 259-270.

[16] Y. Mo, L. Peng, J. Xu, X. Shi, and X. Zhu, "Simple unsupervised graph representation learning," 2022.

[17] N. Lee, J. Lee, and C. Park, "Augmentation-free self-supervised learning on graphs," in Proceedings of the AAAI Conference on Artificial Intelligence, 2022, pp. 7372-7380.

更多阅读