Redian新闻
>
一文浅谈Graph Transformer领域近期研究进展

一文浅谈Graph Transformer领域近期研究进展

公众号新闻

©作者 | 崔琪
单位 | 北邮GAMMA Lab

在图表示学习中,Graph Transformer 通过位置编码对图结构信息进行编码,相比 GNN,可以捕获长距离依赖,减轻过平滑现象。本文介绍 Graph Transformer 的两篇近期工作。




SAT


论文标题:
Structure-Aware Transformer for Graph Representation Learning
收录会议:
ICML 2022

论文链接:

https://arxiv.org/abs/2202.03036

代码链接:

https://github.com/BorgwardtLab/SAT


本文分析了 Transformer 的位置编码,认为使用位置编码的 Transformer 生成的节点表示不一定捕获它们之间的结构相似性。为了解决这个问题,提出了结构感知 Transformer,通过设计新的自注意机制,使其能够捕获到结构信息。新的注意力机制通过在计算注意力得分之前,提取每个节点的子图表示,并将结构信息合并到原始的自注意机制中。


本文提出了几种自动生成子图表示的方法,并从理论上表明,生成的表示至少与子图表示具有相同的表达能力。该方法在五个图预测基准上达到了最先进的性能,可以利用任何现有的 GNN 来提取子图表示。它系统地提高了相对于基本 GNN 模型的性能,成功地结合了 GNN 和 Transformer。


1.1 方法



本文提出了一个将图结构编码到注意力机制中的模型。首先,通过 Structure extractor 抽取节点的子图结构,进行子图结构的注意力计算。其次,遵循 Transformer 的结构进行计算。


Structure-Aware Self-Attention


Transformer 原始结构的注意力机制可以被重写为一个核平滑器:



其中, 是一个线性函数。 空间中,由 参数化的(非对称)指数核:


是定义在节点特征上的可训练指数核函数,这就带来了一个问题:当节点特征相似时,结构信息无法被识别并编码。为了同时考虑节点之间的结构相似性,我们考虑了一个更一般化的核函数,额外考虑了每个节点周围的局部子结构。通过引入以每个节点为中心的一组子图,定义结构感知注意力如下


其中, 是节点 在图 中的子图,与节点特征 相关, 是可以是任意比较一对子图的核函数。该自注意函数不仅考虑了节点特征的相似度,而且考虑了子图之间的结构相似度。因此,它生成了比原始的自我关注更有表现力的节点表示。定义如下形式的


其中 是一个结构提取器,它提取以 为中心、具有节点特征 的子图的向量表示。结构感知自我注意力十分灵活,可以与任何生成子图表示的模型结合,包括 GNN 和图核函数。在自注意计算中并不考虑边缘属性,而是将其合并到结构感知节点表示中。文章提出两种生成子图的方法:k-subtree GNN extractor 和 k-subgraph GNN extractor,并进行相关实验。


1.2 实验


下图是模型在图回归和图分类任务上的效果。

使用 GNN 抽取结构信息后,再用 Transformer 学习特征,由下图可以看出,Transformer 可以增强 GNN 的性能。



GraphGPS


论文标题:
Recipe for a General, Powerful, Scalable Graph Transformer
收录会议:
NeurIPS 2022

论文链接:

https://arxiv.org/abs/2205.12454

代码链接:

https://github.com/rampasek/GraphGPS

本文首先总结了不同类型的编码,并对其进行了更清晰的定义,将其分为局部编码、全局编码和相对编码。其次,提出了模块化框架 GraphGPS,支持多种类型的编码,在小图和大图中提供效率和可伸缩性。框架由位置/结构编码、局部消息传递机制、全局注意机制三个部分组成。该架构在所有基准测试中显示了极具竞争力的结果,展示了模块化和不同策略组合所获得的经验好处。


2.1 方法


在相关工作中,位置/结构编码是影响 Graph Transformer 性能的最重要因素之一。因此,更好地理解和组织位置/结构编码将有助于构建更加模块化的体系结构,并指导未来的研究。本文将位置/结构编码分成三类:局部编码、全局编码和相对编码。各类编码的含义和示例如下表所示。

现有的 MPNN + Transformer 混合模型往往是 MPNN 层和 Transformer 层逐层堆叠,由于 MPNN 固有结构带来的过平滑问题,导致这样的混合模型的性能也会受到影响。因此,本文提出新的混合架构,使 MPNN 和 Transformer 的计算相互独立,获得更好的性能。具体框架如图所示。


框架主要由位置/结构编码、局部消息传递机制(MPNN)、全局注意机制(Self Attention)三部分组成。根据不同的需求设计位置/结构编码,与输入特征相加,然后分别输入到 MPNN 和 Transformer 模型中进行训练,再对两个模型的结果相加,最后经过一个 2 层 MLP 将输出结果更好的融合,得到最终的输出。更新公式如下:


2.2 实验


在图级别的任务上,效果超越主流方法:


通过消融实验,研究框架中各个结构的作用,可以看到,MPNN 和位置/结构编码模块对 Transformer 的效果均有提升作用。




总结


两篇文章都有一个共同特点,就是采用了 GNN + Transformer 混合的模型设计,结合二者的优势,以不同的方式对两种模型进行融合,GNN 学习到图结构信息,然后在 Transformer 的计算中起到提供结构信息的作用。在未来的研究工作中,如何设计更加合理的模型,也是一个值得探讨的问题。


更多阅读



#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道:

• 投稿邮箱:[email protected] 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编



🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧


·
·


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
一文速览人岗匹配领域研究进展首次!无残差连接或归一化层,也能成功训练深度TransformerTransformer如何做扩散模型?伯克利最新《transformer可扩展扩散模型》论文ICLR盲审阶段就被评审赞不绝口的论文:会是Transformer架构的一大创新吗?一文浅谈香港加密新政在赫拉克利特的河里江泽民去世,一个时代的结束谷歌新作!Transformer杀入机器人领域!RT-1:97%成功率,轻松完成700多条控制指令!7 Papers & Radios | 无残差连接训练深度transformer;DeepMind写代码AI登Science封面强化学习中的Transformer发展到哪一步了?清北联合发布TransformRL综述ICLR盲审阶段被审稿人赞不绝口的论文:会是Transformer架构的一大创新吗?EeSen、FSMN、CLDNN、BERT、Transformer-XL…你都掌握了吗?一文总结语音识别必备经典模型(二)7 Papers & Radios | 推理速度比Stable Diffusion快2倍;视觉Transformer统一图像文本Seq2Seq、SeqGAN、Transformer…你都掌握了吗?一文总结文本生成必备经典模型(一)为内存塞不下Transformer犯愁?OpenAI应用AI研究负责人写了份指南ICRA 2023 | CurveFormer:基于Transformer的3D车道线检测新网络Graph Transformer近期进展清华朱军团队开源UniDiffuser:首个基于Transformer的多模态扩散大模型!文图互生、改写全拿下!Rippling:HR领域的Salesforce,将分裂的HCM再度平台化全球首个面向遥感任务设计的亿级视觉Transformer大模型Meta发布ConvNeXt V2!仅用最简单的卷积架构,性能不输Transformer噢!卡撒布兰卡!清华朱军团队开源UniDiffuser:首个基于Transformer的多模态扩散大模型统治扩散模型的U-Net要被取代了,谢赛宁等引入Transformer提出DiTCF-ViT:用于视觉Transformer的由粗到细的两阶段动态推理架构 | AAAI 2023年終碎想更快更强!EfficientFormerV2来了!一种新的轻量级视觉Transformer顶会上的热宠:TransformerNeurIPS 2022 | 大图上线性复杂度的节点级Transformer把Transformer当通用计算机用,还能执行in-context learning算法,这项研究脑洞大开超越ConvNeXt!Transformer 风格的卷积网络视觉基线模型Conv2Former我”阳“了7 Papers & Radios | 谷歌开源机器人领域transformer;DeepMind推出剧本写作AI
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。