logo
Redian新闻
>公众号
>
从多篇顶会论文看图神经网络黑盒攻击近期进展

从多篇顶会论文看图神经网络黑盒攻击近期进展

公众号新闻


©作者 | 于越

单位 | 北邮 GAMMA Lab

研究方向 | 图神经网络


本文旨在简要总结近期的图对抗攻击中的黑盒攻击方法，带领读者了解图黑盒攻击的基本定义和最新进展。




简介

图神经网络（GNN）广泛应用于图数据挖掘，例如社交网络、电商数据、金融数据等等。常见的图神经网络有 GCN、GAT、APPNP 等。然而，现有的 GNN 易受到对抗攻击的影响，导致性能的大幅下降。对抗攻击是指攻击者通过修改少量数据的方式使神经网络性能明显下降。而人类通常不会被这类扰动所影响，因为人类的判断是比较鲁棒的。因此，对抗攻击及防御是如今可信 AI 的研究热门。图对抗攻击中，攻击者通过修改节点属性或拓扑结构来使图模型的性能下降。d 对于最常见的拓扑攻击，形式化表述为


其中 为攻击损失函数， 是参数为 的 GNN， 为图的邻接矩阵， 为扰动后的邻接矩阵， 为特征矩阵， 为扰动代价（budget），含义是扰动边数量的最大值。图攻击也可以看作一种基于目标函数的优化过程。

对抗攻击有多种设定，如下图所示。白盒攻击中，攻击者可以获取输入数据，模型预测（最终预测的置信度向量）和模型的结构信息，并且可以获取反向传播的梯度信息；黑盒攻击中，攻击者只能获取输入数据和预测结果，根据预测结果是置信度还是 one-hot 向量又分为软标签和硬标签攻击。图黑盒攻击中，攻击者可以获取 以及预测矩阵 。黑盒攻击由于其设定更接近实际场景，因此近期受到的关注逐渐增多。





方法介绍

2.1 Towards More Practical Adversarial Attacks on Graph Neural Networks (NeurIPS 2020)

原文：https://arxiv.org/abs/2006.05057


本文在黑盒的基础上采取了更加现实的设定：攻击节点的度和数量都有所限制（对于社交网络，不能攻击名人节点），而且无法获取模型预测。本文主要关注攻击节点的选取。白盒攻击常采取的目标函数 Carlini-Wagner Loss 为



其中 为最后一层节点表示，即预测矩阵。该损失函数含义为，每个节点预测的最大置信度与真实标签对应的置信度之差的和。损失函数越大，说明模型的预测中，错误结果与真实结果相去甚远，因此攻击效果越好。作者证明了使用该损失函数时，某个节点的扰动带来的损失函数变化的一阶近似期望与图随机游走矩阵该列之和相关。因此，可以选取随机游走矩阵列求和最大的几个节点进行攻击，即 RWCS 方法。

实验结果表明，随着扰动强度的增加，损失函数线性增大，但是分类正确率在扰动强度达到一定值之后不再减小。这说明 Loss 和 ACC 之间存在不匹配的关系。这种不匹配关系暗示了攻击的冗余特性。



因此，本文提出了修正的方法 GC-RWCS：



其中 为二值化的随机游走矩阵



为评分函数，，对 的列求和。这个算法做了如下几个改进：第 6 行每次迭代去掉选中节点 跳邻居，因为攻击具有同配性（邻居节点对攻击的贡献与节点本身类似）；第 7 至 10 行，更新某些特定行的值，因为 代表攻击 很可能会让 分类错误，因此更新 矩阵第 行为 0，让不再对攻击节点选取有贡献。


2.2 A Hard Label Black-box Adversarial Attack Against Graph Neural Networks (CCS 2021)


原文：http://arxiv.org/abs/2108.09513

本文是硬标签的设定，即攻击者只知道模型预测的 one-hot 结果而非置信度。并且，作者发现图攻击的复杂度会随着节点数量的增加而指数级增加，因此首先将邻接矩阵连续化（这也是很多基于优化的图攻击的做法）。



其中 为扰动函数， 为扰动矩阵。由于本文是图分类攻击模型，因此优化问题可以表示为



定义图结构 沿着扰动 到分类边界的距离为 ，因此我们需要的最小的扰动的个数为 。


我们的目标就是选取让 最小的 ，为了优化，实际中使用1范数替代0范数。算法如下



其中梯度的估计方式如下



同时，本文提出了粗粒度到细粒度的扰动搜索策略，将图根据聚类结果抽象为超点和超边，按照超点-超边-全图的顺序搜索扰动，能够提高效率。



2.3 Graph Structural Attack by Perturbing Spectral Distance (KDD 2022)


原文：https://dl.acm.org/doi/10.1145/3534678.3539435

作者发现，图结构与图的谱域信息存在关联。作者分别使用低频信息和高频信息重构了图结构，可以发现，低频信息对应的是社群内部的信息，高频信息对应的是社群之间的信息。



因此，作者认为在谱域对图进行攻击是更有效率的。具体算法如下



作者认为，频谱的距离，即特征值之差的 2 范数代表了攻击的效果，因此 Loss 如第 8 行所示。为了减少特征值分解的开销，每 m 步中，有 m-1 步使用近似算法，即第 10 行。



总结


黑盒攻击具体的定义并不完全明确，而且具体问题的设置又有一些细微差别。因此，研究黑盒攻击首先需要定义问题。根据问题定义，就会导出这个设置下解决问题的关键。黑盒攻击无法获取模型梯度，因此定义损失函数和梯度估计方法是两个比较重要、需要考虑的点。


更多阅读



#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。


总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。


📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道：

• 投稿邮箱：[email protected] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿


△长按添加PaperWeekly小编




🔍


现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧


·
·

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章
相关阅读
一种基于神经网络的策略，可增强量子模拟一文详解NLP顶会论文投稿策略的7步走（附资料）NeurIPS 2022 | 基于解耦因果子结构学习的去偏差图神经网络【22年9月】神经科上个月最受关注SCI论文解析丨神经变性病、脑血管病最受关注；这所医院发表的论文最多肝了1个月！2022 顶会论文代码大合集！Hinton最新演讲！一种新神经网络：前向-前向FF算法，论文已公开！师弟发了篇顶会论文北邮王啸：挖掘图神经网络中的「万物真理」导师放养，深度学习顶会论文投稿策略7步走！一文盘点图数据增广 (Graph Data Augmentation) 近期进展研究人员开发在小型设备上训练大型神经网络 保护隐私因果推理相关的图神经网络研究进展本科生狂发3篇顶会，已经卷到如此地步了吗？图灵机就是深度学习最热循环神经网络RNN？1996年论文就已证明！大规模GNN如何学习？北邮最新《分布式图神经网络训练》综述，35页pdf阐述分布式GNN训练算法和系统ICLR 2023论文得分排名出炉！多篇论文竟同时拿到1分和10分百岁汇编语言之母逝世！71岁时她还在和儿子合写神经网络论文北京新增本土31+33！近期进返京问题诉求集中，北京12345回应厉害医生和糊涂病人清华、上交等联合发表Nature子刊：「分片线性神经网络」最新综述！A+B+C写作公式？顶会论文创新点干货！老海归浪子回头【庭院种菜】怎么制作水溶性有机肥：鸡汤？毛泽东关注世界心忧天下的情怀有效融合语言模型、图神经网络，文本图训练框架GLEM实现新SOTAICML2022 | GNNRank: 基于有向图神经网络从两两比较中学习全局排序近万人围观Hinton最新演讲：前向-前向神经网络训练算法，论文已公开模型会忘了你是谁吗？两篇Machine Unlearning顶会论文告诉你什么是模型遗忘黑贝王妃： 冷掉的夫妻关系如何转暖AAAI 2022 | 正交图神经网络一文梳理基于梯度的黑盒迁移对抗攻击研究进展ICLR'23截稿, 图神经网络依然火热 (附42 篇好文整理)从多篇论文看扩散模型在文本生成领域的应用我是如何在本科期间发表顶会论文的？TPAMI 2022 | 利用子图同构计数提升图神经网络的表达能力
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。