AAAI 2022 | 正交图神经网络
论文介绍
图神经网络 (GNNs) 模型依靠消息传递和特征转换函数来编码来自邻居的结构和特征信息,消息传递是沿着边传递邻居消息,特征转换是通过投影节点嵌入来提高模型的学习能力,但卷积层太多则会导致 GNNs 的性能降低。最近的研究指出这个问题来源于过平滑,也就是因为图结构上的递归邻域聚合导致节点表示变得难以区分。最近提出了图增强等模型来缓解过平滑,主要思想是避免过多的邻域信息,在每个卷积层都强化自身的特定节点特征。
相比于深层的 GNNs 模型,本文更加关注影响浅层 GNNs 性能的主要因素。因为从图 1(d) 中可以看到,当 GNNs 的深度增加达到 8 层时,节点分类精度就会迅速下降,但此时还没有达到过平滑的状态。而作者发现仅仅移除特征转换模块,即便有几十个卷积层,但 GNNs 依然可以稳定的执行。
作者通过大量实验提出,因为设计了不恰当的特征转换导致不稳定的前向归一化和后向梯度,最终导致了 GNNs 性能下降。如图 1(a) 和 (b)vanilla GNNs 有前向嵌入爆炸和后向梯度消失的问题,前向嵌入爆炸改变了层之间的内部嵌入分布,使模型训练效率低下,后向梯度消失阻碍了特征转换模块适应下游任务的优化。因此作者认为 vanilla 特征转换在前向和后向都破坏了模型的稳定,从而导致性能降低。
为了克服训练的不稳定性,本文提出了一种新的正交特征变换方法来保证特征变换的正交性,称为 Ortho-GConv,可以对现有的 GNNs 进行扩展,提升泛化能力。
论文链接:
实验方法
实验结果
测试了在六个上的分类精确度,并进行了比较,Ortho-GCNII 的平均提升为 2.2%。
在不同的层数下,Ortho-GConv 在性能上都有一定的提升。在 Cora 和 Citeseer 上,Ortho-GConv 在 2 层基础上分别实现了 1.9% 和 2.1% 的提升;而在 8 层的情况下,获得了 2.8% 和 12.4% 的提升。
在 D&D 和蛋白质数据集上,Ortho-g-U-Nets 得到了较好的性能。
随着 T 的增加,时间消耗变得越来越大;较大的迭代次数和较小的迭代次数会降低我们提出的模型的性能。当迭代次数为 4 时,可以得到最好的性能。因此优化适当的T可以在可接受的时间复杂度下获得较高的精度。
本文首先进行了一系列的分析实验,探讨在使用更多卷积层时 GNNs 性能下降的原因,指出主要因素是 GNNs 中不稳定的前向和后向信号。因此提出了一种正交图卷积对 GNNs 进行增强,以稳定模型训练,提高模型的泛化性能。最后通过实验验证模型的性能。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者