©作者 | 刘祖龙
单位 | 南京邮电大学
来源 | MIND Laboratory
论文题目:
Diving into Unified Data-Model Sparsity for Class-Imbalanced Graph Representation Learning
ICLR 2023
https://arxiv.org/abs/2210.00162
近些年来,GNN 在图表示学习方面取得了最先进的成果,然而图数据中自然存在的性质是类别不平衡,这种不平衡无法通过海量的数据来缓解,同时阻碍了 GNN 的泛化能力。在 GNN 的学习过程中,本文发现训练数据集中的一些样本是有信息的,可以提供梯度来更新模型参数。此外,在训练过程中,信息子集并不是固定的,在当前训练阶段有用的样本在下一个训练阶段可能就不一样了。这种观察被定义为动态数据稀疏性。基于这些发现,本文提出了一个统一的数据模型动态稀疏性框架,名为 Graph Decantation (GraphDec),以解决在大量类不平衡的图数据上训练所带来的挑战。GraphDec 的工作原理如图 1 所示。
给定图数据集 ,图对比学习 (GCL) 方法首先会生成两个视图,GCL 的目标是将正样本在嵌入空间中映射得更近,负样本映射得更远。GCL 常用的损失函数表示为:给定一个权值 的过度参数化深度神经网络 ,网络修剪通常是逐层进行的。此过程可表示为:
此修剪过程将迭代实现,以修剪深度神经网络的每一层参数。
本文首先提出了稀疏子集近似的假设,此假设这个假设解释了为什么用特定方法选择的子集数据训练的模型的性能接近于在完整数据集上训练的性能。本文基于此假设提出了 GraphDec 模型,模型的整体框架如图 2 所示。
给定图数据集 ,动态稀疏图对比模型(DS-GCL)以两个视图作为输入。具体来说,对于每个图样本,DS-GCL 有两个 GNN 分支 和 ,由动态稀疏修剪器从原始 GCN 上修剪而成。裁剪过程如式 2 所示。其中, 为余弦退火控制下的剩余参数的数量,表示为:
其中 初始化为 1。此外,基于当前的梯度信息,一些被修剪的参数可能被重新激活,表示为:这些重新激活的权重会与其他剩余的连接结合起来,以便在下一个迭代中修剪模型。本文的模型在每一次训练阶段中将梯度保存至本地,故可基于其梯度的 l2 范数对输入图进行排序,表示为:
本文利用式 1 所示损失,图 G 的梯度可表示为:其中 p() 表示模型用剪枝参数对 G' 和 G" 的预测,经过排序后的数据集 D 将会被后续操作使用。为了平滑上文中提到的剪枝过程,本文利用了余弦退火来控制衰减速率。具体如下:本文的剪枝过程平滑地细化了 ,同时避免了一般剪枝过程中的手动选择过程。在早期训练中,一些图样本只有较低的分数/重要性。然而,在后来的训练阶段,这些图样本会产生更高的分数。根据这一观察,不永久性地删除当前训练时期的低分样本是值得的,相反,如果只使用早期训练阶段得分较高的图样本子集训练模型,则这种模型的训练效果不能很好地近似全训练集的梯度效应。由上文所述,本文认为目前的低分数样本在末来仍有可能成为高分数样本,因此需要在更新样本的阶段,对被移除的样本进行随机回收。给定删除率 ,从 中删除 个低分样本,同时从 中恢复 个样本, 为上一阶段中被删除的样本集合。此更新过程可表示为:
本文主要关注于不平衡分布下的图分类以及节点分类任务,使用的数据集如下表所示。本文的消融实验如表 3 所示,其中各个缩写分别表示本文方法的四个源子组成部分。本文中的梯度计算以及剪枝与经典剪枝方法的对比如图 3 所示。
总结
为了解决图数据不平衡的挑战,本文提出了一种称为 Graph Decantation (GraphDec) 的高效和有效的方法。GraphDec 利用动态稀疏图对比学习模型动态识别稀疏但信息丰富的子集用于模型训练,其中稀疏 GNN 编码器从原始 GNN 中动态采样,GraphDec 可以识别信息样本,从而对每个训练阶段中的训练数据进行排序和更新。大量的实验表明,在类不平衡的场景中,GraphDec 在节点分类和图分类任务方面都优于最先进的基线方法。对稀疏信息样本演化的分析进一步解释了 GraphDec 在不同训练周期内有效捕获信息子集的优越性。
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧