WWW 2023 Spotlight | HyperIMBA：层次不均衡感知的双曲几何图学习方法

2024-01-11 12:01

©作者 | 傅星珵

单位 | 北京航空航天大学

来源 | ACTBIGDATA

学习图中不均衡样本的无偏节点表征已成为一个值得关注的重要课题。对于图数据，除用于训练的标记节点数量不均衡外（数量不均衡），主要挑战在于节点的拓扑属性（例如位置、角色）是不均衡的（拓扑不均衡）。目前对拓扑不均衡的研究主要集中在节点的拓扑位置或局部邻域结构上，而忽略了图的全局层次特性。

论文标题：

Hyperbolic Geometric Graph Representation Learning for Hierarchy-imbalance Node Classification

论文地址：

https://arxiv.org/abs/2304.05059

代码地址：

https://github.com/RingBDStack/HyperIMBA

众所周知，双曲几何在表征图的层次结构属性具有独特的优势。因此，本文从双曲几何的角度来探讨图神经网络节点分类中的层次不均衡问题，包括其特点和原因。针对半监督节点分类任务的节点标签学习有偏问题，提出了层次不均衡感知的双曲几何图学习方法HyperIMBA，以缓解由标记节点的不均衡层次分布和跨层次连接模式引起的层次不均衡问题。

实验结果表明，训练具有不同层次属性的标记节点对节点分类任务有显著影响，且HyperIMBA 对于层次不均衡的节点分类任务具有优越的有效性。

研究背景

近年来，图表示学习在捕获图数据中不规则但相关联的复杂结构方面表现了其有效性。随着对图的深入研究和广泛应用，近期一些工作表明，图拓扑的几何性质在图表示学习中具有至关重要的作用。在图的各种拓扑性质中，层次性是一种常见且重要的性质。本工作关注于在具有层次结构的图上进行的半监督不均衡节点分类任务。

由于对真实数据集节点进行标记的开销高昂，不同类别中的标记节点通常是不均衡的。现有关于图不均衡学习的研究大多集中在不同类中标记节点数量的不均衡问题，即数量不均衡，如下图1(a)所示。其中颜色表示不同类别的节点，节点填充颜色表示真实标签类别，节点边颜色表示模型分类结果，分类错误的结果用虚线区域标记，星形和圆形节点分别表示标记节点和未标记节点。

随着对图神经网络拓扑性质和学习机制的深入研究，最近一些工作集中在研究标记节点在拓扑位置上的不均衡分布问题，即拓扑位置不均衡。拓扑位置不均衡是由于标记节点在拓扑空间中的位置分布不均匀造成的。例如，在一个社交网络中，可能只能获取某个局部社区的标签信息，从而导致了标签节点的位置分布严重不平衡。如下图1(b) 所示，由于图神经网络在消息传递范式中学习节点表示，即使标记节点数量均衡，节点位置分布不均也会导致标签传播质量不高。

对于此问题，近年开始有一些探索性的工作，ReNode 从标签传播的角度对拓扑不平衡问题进行了理解，并提出了一种样本重加权方法；TAM 假设假阳性情况受每个节点的邻居标签分布的影响较大，相对于类统计，基于节点拓扑自适应调整目标的裕度。

▲ 图1. Imbalance 结构

然而，目前工作仅关注拓扑结构中节点的位置和邻域信息，难以处理由图的隐式拓扑性质引起的标签不均衡问题。总之，探索拓扑性质的不均衡问题仍处于初步阶段。本文将对图的层次性如何影响节点的表征学习进行定量分析，然后从双曲几何的角度对图的层次结构-不平衡问题提出了新的见解。

层次不均衡问题

层次性是图的一种重要拓扑性质，它同时体现了无标度拓扑的独特性质和节点的高度聚集性，在自然界中被广泛观察到，从生物学到语言再到一些社会网络，都体现了节点角色在网络中的重要作用。由于具有层次结构的图是无标度的（具有指数增长的节点数和幂律度分布）和高度模块化的（具有高连通性），因此很难简单地通过节点的数量和位置来衡量层次图上的标签不均衡程度。

例如下图是一个分型网络算法生成的层次结构，它既具有无标度的特性同时又是高模块化的，往往容易出现在一些组织结构上，而网络中不同层次上的节点角色、重要程度和链接模式往往体现了网络中的行为模式。例如下图中是一个分型网络和层次不均衡的例子。

一个企业的组织结构中，存在这不同的角色形成不同层次的节点，例如CEO、部门主管以及雇员等层次结构。假设节点在学习过程中只聚合与自己相似或连接紧密的邻居标签信息，那么标签样本在不同层次结构上的分布会直接影响节点分类的效果。例如上图中下游任务期望的是对公司按功能部门进行“纵向”分类，但如果样本分布在顶层节点（CEO、管理层）和底层节点（雇员）不够均衡，可能模型倾向按节点身份进行“横向”分类。

此外，我们基于标签传播算法对层次不均匀问题进行了验证。如论文中的Figure 1(c)所示一个具有层次性结构的网络，且具有均衡的标记节点数量（每个类中标记节点的数量相同）和均衡的标记节点位置（到图中心的最短距离和度分布相同）。然而，蓝色和绿色类标记节点占据较高的层次级别角色，导致分类结果中存在大量错误。

由此可以观察到，层次结构中标记节点的分布会严重影响分类器决策边界的偏移。与数量和位置不均衡问题相比，探索层次不均衡问题有两大挑战：

隐式拓扑：层次不均衡是由隐式拓扑属性中标记节点的不均匀分布引起的，难以直观度量。
层次连接性：图的层次结构为节点引入了更复杂的连接模式，这些模式很难用单一的方式直接观察和量化。

因此，一个自然的问题是，“如何有效和高效地量化图中每个节点的层次？”，以及“层次不均衡的标签信息如何通过消息传递机制影响分类结果的？”

创新点

为了解决上述问题，我们通过定量分析来深入理解和探索层次不均衡问题。此外，受双曲图表示学习在层次保持方面的成功启发，本工作提出一种有效的度量方法，即使用双曲几何嵌入来度量标记节点的层次；进一步提出一种新的层次不均衡的双曲几何表征学习框架 HyperIMBA 来重新加权标签信息传播，并根据节点层次相应地调整目标边界偏差。

HyperIMBA 的核心思想是使用图几何方法来处理由拓扑几何性质引起的不均衡问题。特别地，基于 Poincaré 模型设计一种新的层次感知边界 HAM 来减少由层次不均衡的标记节点导致的决策边界偏差。

在此基础上，设计了一种层次感知的消息传递神经网络 HMPNN，该机制基于类别感知的 Ricci 曲率权重来度量标签信息和邻域连通性的影响，通过对“主干”路径重新加权来缓解跨层次连通消息传递造成的过度压缩现象。

本章工作主要贡献总结如下：

首次将层次不均衡节点表示学习作为拓扑不均衡研究中的新问题来探索半监督节点分类任务。
提出一种新的训练框架 HyperIMBA，其通过设计两个关键机制来缓解层次不均衡问题：HAM 捕获标记节点的隐式层次以调整决策边界边缘，HMPNN 根据跨层次连接模式重新加权监督信息传递路径。
在合成数据集和真实数据集上的大量实验证明了显著且一致的改进，并为层次不均衡问题提供了深刻的分析。

现有相关工作和问题

4.1 不平衡学习

不平衡分类问题长期以来一直受到研究者的关注，现有的大部分工作都集中在类不平衡问题的数量上，其中的性能由大多数类决定。在自然语言处理和计算视觉领域，现有的工作主要分为三类：重采样方法和数据增强、重加权方法和基于损失边际的方法。

对于非欧几里得结构的图，上述焦点数不平衡的方法不能处理图拓扑上的不平衡问题。ReNode 首次针对拓扑不平衡问题提出了位置感知重权策略方法。具体来说，ReNode 定义了一个基于影响冲突检测的度量，并根据标记节点与类边界的相对位置重新加权。

TAM 假设假阳性情况受到每个节点邻居标签分布的高度影响，并相对于类统计，基于节点拓扑自适应调整目标的裕度。然而，Renode 和TAM 方法仅考虑位置信息和邻域局部结构等简单拓扑信息，难以处理复杂拓扑属性导致的不平衡问题。

4.2 双曲图表示学习

较早将双曲几何空间引入到复杂网络中，以表示复杂网络的小世界和无标度。在现实世界中，复杂网络通常是树状网络，双曲几何空间用来表示这种网络的两个重要性质：网络规模的指数扩展和网络层次。在 NLP 中引入了双曲几何算法，该算法具有较高的容量和保留层次结构的能力，用于学习带有上义词结构的单词表示。对于图神经网络，最近在图神经网络中引入了双曲空间。综上所述，双曲几何为理解图的底层层次结构提供了一种直观而有效的方法。

问题背景与定义

本节将简要介绍层次不均衡的半监督节点分类任务中使用的符号和关键定义。本工作集中在探索图上半监督节点分类任务中标记节点的不均衡问题和层次几何性质之间的关系。

5.1 半监督节点分类任务

给定图，其中是具有个节点的节点集，是边集。是其邻接矩阵，为节点特征矩阵，其中表示节点特征向量维数。对于节点，它的邻居集是。是节点的度数。

给定已标记的节点集及其对应的标签，其中每个节点与标签对应。半监督节点分类任务旨在训练一个分类器来预测剩余未标记节点的标签，其中表示类别数量。

将标记节点集拆分表示为，其中表示中第类节点集。本章任务关注于基于 GNN 的半监督节点分类。

5.2 双曲几何模型

双曲空间通常指具有负曲率常数的流形，用于对复杂网络建模。在双曲几何中，五种常见的等距模型被用来描述双曲空间。本章工作使用庞加莱圆盘模型来揭示图的基本层次结构。

定义1（庞加莱圆盘模型） 庞加莱圆盘（Poincaré Disk）模型是一种节点位于单位圆盘内部的二维双曲几何模型，其具有标准负曲率的维模型的推广是庞加莱球。对于任意点对，该流形上的距离定义为：

其中为加法，为规范。

定义2（庞加莱范数） 庞加莱范数定义为原始庞加莱球上任意点的距离：

深入理解层次不均衡问题

本节首先提出了在图上的半监督节点分类任务中一类新的层次不均衡问题，进一步定量分析了图的层次性对节点表示学习的影响，最后从双曲几何的角度对图的层次不均衡问题提出了新的见解。

6.1 节点分类中的层次不均衡问题

节点接收到信息的数量和质量决定了 GNN 对其嵌入表征向量的表达能力。在具有固有层次结构的图中，层次与节点可以接收的信息的数量和质量高度相关。本文认为，节点标签的层次不均衡分布在两个方面影响了 GNN 的性能：

隐含层次 ：考虑节点标签质量，标签节点的拓扑角色也与监督信息的传播高度相关。在监督信息随拓扑距离增加而衰减的情况下，高质量的监督信息传播距离越远，节点接收到的重要信息越多。
跨层次连接模式 ：层次结构将在图拓扑中引入额外的关联特征，有可能导致不同级别的节点具有不同的邻域连接模式。当消息经过具有窄连通性的不同层次级别时，监督信息和其他信息的消息传递可能导致过度压缩现象，其原因在于具有不同连接性的层次结构级别之间存在狭窄的“瓶颈”传播路径。

首先，层次图是一个幂律度分布的无标度网络，节点数量随着层次的增加呈指数增长。其次，节点的层次结构代表了网络中更高层次的拓扑属性，层次越高的节点通常连通性越好，拓扑位置越显著，在图中扮演的角色也越重要。例如，企业的组织结构通常呈现层级结构，执行决策的部门管理者起着至关重要的作用。当只有有限且不平衡的标记信息时，节点的拓扑重要性直接影响标记信息的质量。

6.2 层次结构的定量分析

为了进一步理解层次不均衡问题，使用著名的图模型来生成两种类型的合成图用于定量分析：

层次图 ：由层次网络模型（Hierarchical Network Model）生成的具有 4 个节点模块和 4 级层次的确定性分形和无标度图。
无标度图 ：由扩展的 Barabási-Albert 模型生成的具有幂律分布的随机无标度图。

对于层次和拓扑属性来说，大多数基于图拓扑的分类方法都依赖于图的模块性：模型可以很容易地识别出一组节点，这些节点在类内彼此紧密连接，但很少或没有与类外节点的连接。

这些易分辨的模块化组织在拓扑结构上具有直观的决策边界（图1(b)）。如图2 所示，与 BA 无标度图模型中聚类系数与特定节点的度无关不同，层次网络中的聚类系数可以用度的函数来表示，即在确定性无标度网络中指数。这表明决策边界可能隐含在层次拓扑中（图1(b)）。综上所述，层次结构中标记节点的拓扑角色重要性可以更有效地影响节点类之间的决策边界。

两种类型合成图分别能够模拟具有不同层次结构的现实世界的复杂网络，其中 BA 网络通常可以理解为具有树状（Tree-like）的底层结构且连接模式倾向逐层连接，而层次网络是具有更多自相似的分形结构（不同尺度下网络局部结构相似）且连接模式倾向与跨层次连接。

对于层次结构和相关性来说，具有不同层次的节点在层次图上具有不同的连接模式，例如，层次结构顶层的节点可能直接与局部社团直接连接。

为了定量分析层次网络中节点的局部拓扑性质以揭示不同节点的连接模式，考虑两个重要的局部拓扑性质：节点的连通性（度）和介数，其中高连通性表示更容易传播信息的节点，而高介数则表示位于图的“主干”传播路径上的节点。

为了量化跨层次结构级别的图传播模式，计算具有连通性、介数的节点的平均最近邻连通性和介数：

其中，和分别是其他节点的连通性和介数，结果如图2 所示。

随着网络规模的增长，BA 图的聚类系数服从幂律分布，而层次网络的聚类系数与网络规模无关。

连通性相关分析表明，BA 图中节点倾向于连接连通性和介数相似的节点，层次图中度数低的节点倾向于连接核心节点。

此外，对于 BA 图（蓝线），和表明节点倾向于与连通性和介数同自身相似的其他节点连接；对于层次图（红线），结果表明节点更有可能连接到其他不同级别的节点，结果表明“主干”路径上的节点越多，与本地组中的节点连接的频率越高。

例如，互联网上的分层属性可能是额外因素驱动的，例如经济市场需求。

定量分析表明，局部连通性和介数与节点的层次结构密切相关，不同层次之间可能存在图的拓扑瓶颈，加剧了监督信息传递中的过度压缩问题。

▲ 图2 层次图与 BA 图层次性结构的定量分析

6.3 双曲几何视角的层次性

双曲空间可以理解为树的平滑版本，其抽象了复杂网络的层次组织。图3 可视化了欧几里得空间和双曲空间上的树、层次图的节点嵌入。可以观察到，在双曲空间中，图的大小随着庞加莱圆盘半径的增加而增加，并且层次随着图的大小的增加而加深。尽管层次图具有更复杂的结构，但其双曲嵌入的位置分布类似于双曲空间中的树。此外，对于底层双曲空间的分层树状结构，图的层次性表现为节点度的层次结构，以及节点连接所覆盖的与度相关的空间量。

在 GNN 社区中，学习图的几何性质备受关注，一个典型的例子是使用双曲几何来学习图的层次结构。总之，双曲几何提供了捕捉和度量图的隐式层次结构的新视角。

▲ 图3 树与层次结构在欧几里得空间与双曲空间中的嵌入可视化

HyperIMBA模型

本节提出了一种新的层次不均衡的双曲几何表征学习框架 HyperIMBA，以解决层次不均衡的两个主要挑战。关键工作在于，利用双曲几何来抽象图中节点的隐式层次结构，并引入离散几何度量来处理层次结构之间传播的监督信息的过度压缩问题。模型结构如图4，并在算法1中给出了 HyperIMBA 的整体算法流程。

HyperIMBA 通过 Poincaré 模型学习每个节点的双曲嵌入和层次结构，得到双曲层次结构感知的决策边界调整权重 HAM，并将其添加到损失函数中调整决策边界；HyperIMBA 计算每条边的类别感知 Ricci 曲率，然后通过 MLP 和 Softmax 函数将 Ricci 曲率转换为聚合权值；HyperIMBA 作为一种 GNN，结合 HAM 和 HMPNN 进行节点分类任务。

▲ 图4 HyperIMBA 模型架构图

7.1 双曲层次感知的决策边界

任务目标是捕获每个标记节点的隐含层次，这是层次图中一个重要的全局属性，用于在学习过程中调整决策边界。

为此，本节设计了双曲层次感知的决策边界（Hyperbolic Hierarchy-aware Margin，HAM），它由三个步骤组成：首先利用图的拓扑信息，通过 Poincaré 模型来学习图的双曲嵌入；然后，使用节点的双曲嵌入设计节点的分层权重计算 HAM；最后，通过 HAM 来修正目标函数。

流程如图5 所示。

▲ 图5 双曲层次感知的决策边界HAM流程示意图

(1) 学习节点的双曲嵌入

庞加莱嵌入学习节点在 n 维庞加莱球上的嵌入。利用 Poincaré 嵌入，通过最小化基于双曲距离的损失函数来搜索节点的最优嵌入。基于式 (1) 中的双曲距离计算，Poincaré 嵌入的损失函数定义如下：

其中节点的负样本为。然后利用随机黎曼优化方法求解如下优化问题：

此处遵循 Poincaré 嵌入中使用黎曼随机梯度下降来更新模型参数。对于每个标记的节点，通过 Poincaré 嵌入方法得到其双曲嵌入，进一步捕获节点的层次结构。

(2) 定义HAM

在双曲几何空间中，双曲距离（半径）R 来自双曲圆盘原点（北极）的嵌入节点能够抽象出隐藏的树状层次的深度。此处根据式 (2) 通过计算双曲节点嵌入的 Poincaré 范数来计算双曲半径，并作为节点的层次结构，然后利用多层感知机（MLP）将 Poincaré 范数转化为节点的层次权值。对于每个节点，其 HAM 定义为：

(3) 调整目标函数

在 6.2 节中得出标记节点的层次结构代表其全局拓扑角色和重要性。受基于决策边界的不均衡处理方法的启发，本节设计了 HAM 来自适应地处理基于层次的监督信息强度，以调整决策边界。HyperIMBA 目标函数调整为：

7.2 层次感知的消息传递机制

虽然 HAM 可以在全局拓扑上调整监督信息的强度，但它不能识别单个节点的层次连接模式。

根据第 6.2 节的结论，层次图中的节点倾向于连接具有不同连通性（度数）和介数的节点，这种跨层次的连接模式更容易导致消息传递中的拓扑瓶颈。

流程如图6 所示。

▲ 图6 层次感知的消息传递机制HMPNN流程示意图

(1) 类别感知的Ricci曲率

Ricci 曲率被引入用来分析和度量由拓扑“瓶颈”路径引起的过度压缩问题。受此启发，此处扩展了 Ollivier-Ricci 曲率作为消息传递的边权重，从而缓解过度压缩问题。具体来说，首先将节点的一跳邻域内的标签分布定义为：

类别感知的边的 Ricci 曲率定义为：

其中，是 Wasserstein 距离，是测地距离（嵌入距离），以及是节点 u 的质量分布。质量分布表示节点及其一跳邻域的重要分布特征，进一步考虑邻域中的标签分布为：

其中，

和是表示节点重要性的超参数。遵循现有的工作，此处取、。

(2) 曲率感知的消息传递

类别感知的 Ricci 曲率度量标签信息经边传递的难易程度，可用于指导消息传递。遵循使用多层感知机来学习 MPNN 从曲率到聚合权重的映射函数，定义层次感知消息传递神经网络 HMPNN 为：

HyperIMBA 的整体算法如下：

实验验证

本节通过全面的实验评估，以证明 HyperIMBA 在各种数据集和目标下游任务上的有效性和自适应性。进一步分析了 HyperIMBA 的鲁棒性，以研究其表征能力。

8.1 数据集

为了评估 HyperIMBA，我们在合成数据集和真实世界数据集上进行了实验，并从图论和真实世界场景的角度分析了模型的能力。

表1 中总结了数据集的统计信息，其中基于边的同配性指标根据 Geom-gcn 计算，值越大，则图数据集的同配性越高，反之则异配性越高。

▲ 表1 图数据集属性统计信息

(1) 合成数据集

通过层次网络模型 HNM 来生成合成层次图数据，以对 HyperIMBA 进行必要的验证和分析。对于每个数据集，生成 1024 个节点，然后在这些节点上执行图生成算法。对于层次图，考虑一个拥有完全互连节点作为分形初始网络，并根据初始分形通过复制与替代分形结构，迭代进行次。对于每个生成的图，随机选择 80% 的节点作为测试集，10% 的节点作为训练集，另外10% 的节点为验证集。

(2) 真实世界数据集

引文网络：Cora 和 Citeseer 是学术论文的引文网络，其中节点代表论文，边代表论文之间的引用关系，节点标签代表论文类别。
共现网络：Photo 是亚马逊“共同购买图”的部分，节点代表商品，边代表两个节点表示的商品常被一起购买，节点标签代表商品种类；Actor 是一个演员共现网络，其中节点代表演员，边代表两个演员出现在同一个网页中，节点标签代表演员类别。
页面-页面网络：Chameleon 和 Squirrel 是维基百科上的页面-页面网络，其中节点表示 Wikipedia 网页，边表示网页之间的相互链接，节点标签代表网页的访问流量。

由于在本任务中关注的是拓扑属性的不均衡问题，因此为每个类别设置相同数量的标记节点。

8.2 实验设置

(1) 基线方法

选择流行且常用的 GNN 作为主干网络，包括 GCN、GAT 和 GraphSage。为了评估所提出的 HyperIMBA，实验中将其与各种基线方法进行比较，其中：拓扑不均衡问题最相关的基线方法是 ReNode和 TAM，Renode 是一种位置感知和重新加权的方法，TAM 是一种基于邻域类别信息感知的边界调整方法；DropEdge 在每个训练阶段从输入图中随机移除一定数量的边，这在结构方面起到数据增强的作用；SDRF 是一种针对过度压缩问题的结构重新连边的方法，它使用Ricci 曲率来修改边。

(2) 参数设置

所有实验中将GNN 主干网络的深度设置为 2 层，并采用PyTorch Geometric 库进行实现。将所有基线方法和 HyperIMBA 的表征向量维度设置为 256。基线方法中的参数设置为其论文中的建议值或设置为进行仔细参数调节后的结果。对于 DropEdge，将删除边和添加边的概率设置为 10%。对于 HyperIMBA，设置 Poincaré 模型的双曲曲率为。

8.3 模型评估

(1) 基于合成图的评估

为了验证对层次特征的捕获能力，在合成的层次图 HNM 上对 HyperIMBA 进行了评估。HNM 的节点类别是三个具有相同层次结构的社区，均匀分布在图的三个方向上，如图 7 所示。将层次组织图按照层次结构划分为三层：顶层（1、2、3 阶 HNM 分形）、中层（4 阶 HNM 分形）和底层（5 阶 HNM 分形），分别使用处于不同层次的标记节点作为训练样本来验证模型的效果。为保证每一类节点的训练标记节点数量一致，允许随机抽取低层次的标记节点来补充高层次的标记节点。根据图7，可以看出 HyperIMBA 显著优于所有基线方法，尤其是在顶层和底层训练设置中。

此外，与 ReNode 和 TAM 的性能从顶层到底层单调增加不同，HyperIMBA 和 Vanilla GCN 的性能在顶层和底层高于中层。这种现象与第 6.2 节中讨论的层次连接模式完全相符，即层次图的节点倾向于与具有不同连通性和介数的节点连接，而不是与具有相似属性的节点连接。HyperIMBA 得益于离散的曲率感知的重加权方法，有效缓解了跨层次连接模式带来的过度压缩问题。

▲ 图7 模型在不同层次性训练设置下合成图上的性能

(2) 基于真实世界数据集的评估

表2 总结了 HyperIMBA 和所有基线方法在六个真实数据集上的性能，最优结果以粗体显示，次优结果用下划线标出，短横线表示由于内存或时间限制导致的结果不可得。可以看出，HyperIMBA 在提高 GCN 和 GAT 在所有数据集上的性能方面表现出显著的优势。它证明了 HyperIMBA 能够捕获底层拓扑和重要的连接模式，特别是针对能够捕获拓扑结构特征主干 GNN 网络。HyperIMBA 对于高同配性和弱层次性图（如 Cora）上的主干 GNN 网络的提升有限。

相比之下，HyperIMBA 在具有高度异配性数据集（Actor、Chameleon 和 Squirrel）的图上取得了压倒性的优势。TAM 通过考虑邻域的标签连通性提高了 ReNode 的性能，但在连通性较差的图（Citeseer）上性能表现较差。ReNode 性能较差的原因是其拓扑边界很难直接当作真实世界图数据上的决策边界，在异配图上全局和高阶拓扑性质可能比的邻域连通性更有用。与 SDRF 相比，HyperIMBA 进一步考虑了监督信息的过度压缩问题，对于结果的提升也证实了该观点。注意，HyperIMBA 的性能取决于全局和高阶拓扑性质是否在学习中起重要作用。对于子图采样方法（GraphSage），在大多数拓扑信息不完全的情况下，HyperIMBA 仍然可以获得显著的性能改进。

此外，以子图采样方法为主干，可以观察到 HyperIMBA 在同配图上的效果并不理想。原因可能是特定的采样策略可能会不可控地丢失高阶拓扑信息，从而导致 HyperIMBA 引入的拓扑几何先验产生了巨大的失真。

▲ 表2 真实世界图数据集上节点分类任务的 Weighted-F1 值和 Macro-F1 值（% ± 标准差）

8.4 模型分析

本小节对 HAM 和 HMPNN 进行消融研究，为 HyperIMBA 提供进一步的性能分析；然后进行了一个层次不均衡学习的案例研究，并评估了在不同层次训练设置下 HyperIMBA 的学习性能，以探索层次不均衡问题的内在机制。最后可视化学习结果，以更直观地分析层次不均衡问题所造成的影响。

(1) 消融实验

对 HyperIMBA 中的两个主要机制进行了消融研究，即层次感知边界 HAM 和层次感知的消息传递 HMPNN。选择 GCN 作为主干网络，结果如表3 所示，最优结果以粗体显示。从结果中可以分析得出，HAM 在缓解层次不均衡问题中起到了关键作用，并证明了双曲几何在捕捉图的底层层次结构特征方面的优越性。此外，HMPNN 还显著缓解了标签监督信息的过度压缩问题。总之，在所有真实数据集上，HyperIMBA 始终优于 GCN 和其他两个变体。

▲ 表3 消融实验的Weighted-F1值（% ± 标准差）和提升（%）

(2) 案例研究和可视化

本小节构建了一个基于真实世界数据集 Photo 的案例研究，以探索不同层次的标记节点将如何影响模型学习。在 Photo 的 Poincaré 圆盘嵌入中划分了 5 个区域，并分别随机抽取区域中的标记节点作为训练样本。为了满足每个类别标记节点数量的一致性，按 8.3 节中设置，按照一定的概率执行节点的随机补充。图8 展示了五个层次级别的训练设置，并使用 t-SNE 对每个层次级别 GCN 和 HyperIMBA 的节点嵌入进行可视化。从图8 可以看出，不同层次的标记节点显著影响节点嵌入簇的形状和边界，这表明层次属性可以通过处理图上的连通模式直接影响模型的决策边界。

此外，可以观察到顶层标记节点使嵌入分布更加紧凑，并产生大量的分类错误，这表明它在消息传递过程中存在严重的过度压缩问题。这与 6.2 节的定量分析是一致的，即具有高连通性和介数的节点基于分层连接性模式，倾向连接具有低连接性和介数的节点。进一步，观察到底层节点具有更多样的信息，导致节点簇具有分散的形状和更宽的边界，这可能容易导致不同节点类别之间的冲突或重叠。图8 结果的可视化显示 HyperIMBA 在不同层次级别的训练设置下始终保持适当的节点群集形状和边界。

▲ 图8 在 Photo 数据集上基于不同层次训练设置的模型表现可视化与分析

小结

本工作首次研究了结构上的层次不均衡问题，这是图的一个重要的拓扑性质。本文从双曲几何的角度提出了一种新的训练框架 HyperIMBA 来缓解层次不均衡问题。HyperIMBA 可以通过双曲几何嵌入有效地捕获节点的隐式层次结构，提出了层次感知的边界 HAM 来调整分类决策边界。此外，HyperIMBA 利用离散的局部曲率来改进消息传递机制，以减轻由层次连接模式引起的过度压缩问题。在合成数据集和真实数据集上的实验结果表明，HyperIMBA 的性能始终显著优于现有工作。

更多阅读