NeurIPS 2022 | Rebuttal起死回生！对攻击者的攻击：一种真实场景下的防御

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—> CV 微信技术交流群

上海交通大学自动化系图像处理与模式识别研究所黄晓霖副教授团队，与鲁汶大学、加州大学圣克鲁兹分校的研究者合作，关注真实场景的防御，提出主动对攻击者实施攻击，在保证用户正常使用模型（无精度/速度损失）的同时，有效阻止黑盒攻击者通过查询模型输出生成对抗样本。经Rebuttal极限提分（2 4 4 5 -> 7 7 4 7），该研究已被机器学习顶级会议 NeurIPS 2022 录用，代码已开源。

Adversarial Attack on Attackers: Post-Process to Mitigate Black-Box Score-Based Query Attacks

论文：https://arxiv.org/abs/2205.12134

代码：https://github.com/Sizhe-Chen/AAA

【 研究背景 】

基于查询分数的攻击（score-based query attacks, SQAs）极大增加了真实场景中的对抗风险，因为其仅需数十次查询模型输出概率，即可生成有效的对抗样本。

然而，现有针对worst-case扰动的防御，并不适用于真实场景中，因为他们通过预处理输入或更改模型，显著降低了模型的推理精度/速度，影响正常用户使用模型。

因此，本文考虑通过后处理来防御，其自带以下优点

· 有效防御基于查询分数的攻击

· 不影响模型精度，甚至还能使模型的置信度更加准确

· 是一种轻量化，即插即用的方法

可是在真实的黑盒场景中，攻击者和用户得到的，是相同的模型输出信息，如何在服务用户的同时，防御潜在攻击者？

【 本文方法 】

我们的核心思路是，测试阶段主动误导攻击者进入错误的攻击方向，也就是对攻击者发动攻击（adversarial attack on attackers, AAA）。如下图所示，若我们将模型的（未经防御的）蓝色损失函数曲线，轻微扰动至橙色或绿色的曲线，那么当攻击者贪婪地沿梯度下降方向搜索对抗样本时，将会被愚弄至错误的攻击方向。

具体的，我们的算法分为4步，对应上图中的4行

1. 计算未经修改的原损失函数值，也就是上图中的蓝色曲线

2. 根据原损失函数值，计算出目标损失函数值，即橙色或绿色曲线

3. 根据预先标定的温度T，计算出目标置信度

4. 优化输出的logits，使其同时拥有目标损失函数值和目标置信度

【 实验结果 】

如下左图所示，对比蓝线和橙线，我们的方法AAA，最小程度地扰动输出，却最大限度保留精度（Acc ↑），提升置信度的准确度（expected calibration error, ECE ↓）。如右图和下表所示，AAA相比现有方法，能有效地防止真实场景攻击下的精度损失。

同时，AAA能简单地与现有防御结合，如对抗训练。

AAA是极其轻量化的防御，因为后处理操作的计算量很小，如下图所示。

尽管攻击者可以对AAA设计自适应攻击（adaptive attacks），但在真实场景中，自适应攻击的成本非常高。因为黑盒场景下，攻击者完全没有模型的信息，更不用说其防御策略了。探索模型防御策略以设计自适应攻击，需要大量额外的查询。更重要的是，自适应攻击者也很好愚弄，比如使用正弦类的目标损失函数曲线以迷惑攻击者，因为其策略更难被猜测。如下表所示，反向搜索和双向搜索的自适应攻击，都可以被AAA-sine很好的防御。

【 文章总结 】

我们指出在真实场景下，一个简单的后处理模块，就可以形成有效，用户友好，即插即用的防御。为了专门防御基于查询分数的攻击，我们设计了对攻击者的攻击，通过细微的输出扰动干扰攻击者。广泛的实验表明我们的方法在抵御攻击，精度，置信度准确度，速度上，显著优于现有防御。

值得注意的是，抵御其他类型的攻击并非本文关注的重点。我们的方法并不提升worst-case robustness，故不能防御白盒攻击。我们也几乎不改变模型决策边界，故不能防御迁移攻击和基于决策的查询攻击（decision-based query attacks）。

【 视频解读 】

【 关于作者 】

论文一作陈思哲（左一）是上海交通大学自动化系的三年级硕士生，研究方向为神经网络的对抗鲁棒性，导师为黄晓霖副教授。他曾在TPAMI, NeurIPS, CVPR等期刊/会议发表论文7篇，担任TPAMI, ECCV, PR等期刊/会议审稿人。他曾获上海交通大学优异学士学位论文（1%），两次获评国家奖学金，并曾在腾讯朱雀实验室实习。个人主页：https://sizhechen.top

论文通讯作者黄晓霖博士（右一）是上海交通大学的长聘教轨副教授，研究方向为机器学习，优化理论及其应用。他曾在Nature Reviews Methods Primers, JMLR, TPAMI, NeurIPS, CVPR等期刊/会议发表论文百余篇，担任TPAMI, TAC, TSP, TNNLS, NeurIPS, ICML, ICLR, CVPR等期刊/会议审稿人。他曾获青年千人，德国“洪堡学者”。他在清华大学获得博士学位，并在鲁汶大学完成博士后研究。个人主页：http://www.pami.sjtu.edu.cn/xiaolin

CVPR 2022论文和代码下载

后台回复：CVPR2022，即可下载CVPR 2022论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立

扫描下方二维码，或者添加微信：CVer222，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer222，进交流群

CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！

▲扫码进群
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看