Redian新闻
>
ECCV 2022 | MixSKD: 用于图像识别的Mixup自蒸馏方法

ECCV 2022 | MixSKD: 用于图像识别的Mixup自蒸馏方法

公众号新闻


©PaperWeekly 原创 · 作者 | 杨传广
单位 | 中科院计算所
研究方向 | 计算机视觉、模型压缩

本篇文章介绍一下我们于 ECCV-2022 发表的一篇模型自蒸馏文章


传统的知识蒸馏(Knowledge Distillation,KD)需要一个预训练的教师模型来训练一个学生模型,这种模式的缺点是需要设计并训练额外的教师网络,并且两阶段的训练过程提升了流水线开销。自网络知识蒸馏(Self-Knowledge Distillation,Self-KD),顾名思义,则是不依赖额外的教师网络进行指导,利用网络自身的知识来指导自身的学习,从而实现自我提升。


由于 Self-KD 没有额外的高性能教师模型进行指导,通常性能提升十分有限。最近,我们提出了一种从 Mixup 图像 [1] 中进行 Self-KD 的方法 MixSKD,该方法通过从混合图像中挖掘知识,从而提升了模型图像识别效果,进一步在目标检测和语义分割的下游任务上也表明提出的 MixSKD 能使得 backbone 网络学习到更好的特征。



论文链接:
https://arxiv.org/pdf/2208.05768.pdf

代码链接:

https://github.com/winycg/Self-KD-Lib
*Codebase 中集成了 20 余种流行的 Self-KD 和数据增强方法在图像识别任务上的实现。



引言


由于没有额外的教师模型,现有的 Self-KD 工作通常使用辅助结构或者数据增强的方式来捕捉到额外的知识,从而指导自身的学习。基于辅助结构的方法 [2] 通常利用添加的分支来学习主任务,Self-KD 引导辅助分支和主干网络之间进行知识迁移。基于数据增强的方法 [3] 通常在输入端创建来自相同实例的两个不同增强的视角,Self-KD 约束两个视角具有一致的输出。先前 Self-KD 方法的一个共同点是生成的软标签是都是来源于单独的输入样本的。


本文提出将混合图像 Mixup 和 Self-KD 融合为一个联合的框架,名为 MixSKD。MixSKD 整体的思想如图 1 所示。给定两张输入图像 ,可以分别得到概率分布 ,之后进行线性插值可得到集成的软标签 ,之后将 与 Mixup 图像得到的概率分布进行相互蒸馏。

直觉上,集成的软标签 包含了原始两张图像的预测信息,可以被认为是一个伪教师分布来提供综合的知识。基于 Mixup 的概率分布可以被认为是一个数据增强分布来微调 ,从而学习鲁棒的混合预测和避免过拟合。

除了在最终输出的概率层面,MixSKD 还在中间特征层对插值特征和 Mixup 特征进行互蒸馏。MixSKD 引导网络针对输入图像()及其插值的 Mixup 图像之间产生一致的输出信息,从而使得网络具有线性决策行为。


▲ 图1. MixSKD的基本思想




方法

2.1 任务引导的分类误差

来自结构源的误差:使用原始的交叉熵任务误差来训练主网络 f 和 K-1 个辅助分支,使之获得分类能力和产生语义特征:


来自数据源的误差:给定输入图像 和 Mixup 图像 ,代入结构源的误差,可以得到任务误差:



2.2 特征图Self-KD

使用 L2 距离来逼近原始图像插值得到的特征图与 Mixup 图像生成的特征图:


受对抗学习思想的启发,本文引入了一个判别器来判别特征来源于插值还是 Mixup 图像来提升特征逼近的难度,从而使得网络能够学习到有效的语义特征:



2.3 概率分布Self-KD

本方法使用 KL 散度去逼近原始图像插值得到的概率分布与 Mixup 图像产生的概率。在 K-1 辅助分支上使用如下的误差:


对于最终的主干网络,本方法进一步构造了一个 self-teacher 网络来提供高质量的软标签作为监督信号。self-teacher 网络聚合网络中间层的特征,然后通过一个线性分类器输出类别概率分布,受到 Mixup 插值标签的监督:


主干网络最终输出的类别概率分布的监督信号来源于 self-teacher 网络:



2.4 整体误差

将上述误差联合起来作为一个整体误差进行端到端的优化:


MixSKD 的整体示意图如图 2 所示。本方法引导网络在隐层特征和概率分布空间具有线性决策行为。从 Occam 剃刀原理上讲,线性是一个最直接的行为,因此是一个较好的归纳偏置。此外,线性行为可以在预测离群点时减少震荡。

▲ 图2. MixSKD整体示意图



实验结果

1. MixSKD 用于 CIFAR-100 图像识别,如表 1 所示。MixSKD 在不同网络结构上超越了先前的 Self-KD 与数据增强方法

▲ 表1. CIFAR-100实验结果

2. 如表 2 所示,MixSKD 用于大规模 ImageNet 图像识别并用于下游的目标检测和语义分割, 获得了最佳的表现。

▲ 表2. ImageNet分类以及下游检测和分割实验结果

3. 从左边两张图可以看出,MixSKD 相比 baseline 具有更好的预测质量。对于公共分类错误的样本,MixSKD 在错误类别概率上值更小,在正确类别概率上值更大。从第三张图上可以看出,在不同混合系数的混合图像下,MixSKD 相比 Mixup 具有更低的错误率。


▲ 图3. MixSKD预测结果的定量分析


参考文献

[1] Zhang et al. Mixup: beyond empirical risk minimization. ICLR-2018.

[2] Zhang et al. Be your own teacher: Improve the performance of convolutional neural networks via self distillation. ICCV-2019.

[3] Xu et al. Data-distortion guided self-distillation for deep neural networks. AAAI-2019.



更多阅读



#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道:

• 投稿邮箱:[email protected] 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编



🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧


·

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
AAAI 2023 | 动态温度超参蒸馏新方法ChatGPT图像识别能力解锁和深度分析“首月1元”,App自动续费连环套还要玩到啥时候【回顾与展望】2022 后疫情时代的旅游,2023 回家大脑视觉信号被Stable Diffusion复现图像!“人类的谋略和谎言不存在了” | CVPR2023CVPR 2023 | G2SD: 让小模型也能从自监督预训练中受益的蒸馏方法APP自动续费“连环计”:到期不提醒、关闭隐藏深…​NeurIPS 2022 | 知识蒸馏造成了样本不均衡问题?MAXSUN RTX 2060 SUPER3万美金奖金|KDD CUP 2023 多语言购物会话推荐数据竞赛正式启动ECCV 2022 | 半监督学习的隐秘角落: 无监督的数据选择性标注 USLAAAI 2023 Oral | 图像质量堪忧干扰视觉识别,达摩院提出更鲁棒框架CVPR 2023 | 统一框架MAGE:表征学习超MAE,无监督图像生成超越Latent Diffusion工信部出手!事关APP自动续费纽约洛克菲勒,圣诞记忆2022年国内CVC参与股权投资事件1341个,同比减少43.9%;智能制造、医疗健康和企业服务最受青睐丨睿兽分析CVC年报基于图数据库NebulaGraph的ID Resolution方法与代码示例马克谈天下(349) 聊聊苏联经援外交的巨大教训山情水趣话旅游(33):夏威夷之行(1)App自动续费“连环计”,防不胜防注册须知丨第二十六届全国介入心脏病学论坛暨第十二届中国胸痛中心大会(CCIF&CCPCC2023)AAAI 2023 | 图像质量堪忧干扰视觉识别,达摩院提出更鲁棒框架2022 USNEWS发布美国薪酬最高行业TOP25AAAI 2023 Oral | 图像质量堪忧干扰视觉识别!达摩院提出RTS:鲁棒性特征建模框架NeurIPS 2022 | 知识蒸馏中如何让“大教师网络”也教得好?APP自动续费套牢手机党王羲之集字对联​NeurIPS 2022 | DIST: 少学点反而更好!商汤开源松弛知识蒸馏方法ECCV 2022 | 用于对抗攻击的频域模型增强方法ECCV 2022 | SegPGD: 能有效提升语义分割模型鲁棒性的对抗攻击方法​ECCV 2022 | 夜间图像增强: 当层分解遇到光效应抑制网络2022 湾区公立/私立高中 UCB 录取率排名NeurIPS 2022 | 如何度量知识蒸馏中不同数据增强方法的好坏?一种统计学视角CVPR 2023 | 谷歌、MIT提出统一框架MAGE:表征学习超MAE,无监督图像生成超越 Latent Diffusion柏林 ~ 德国没有普鲁士Chinese University Fires Professor Accused of Sexual HarassmentCVPR 2023 | 结合Transformer和CNN的多任务多模态图像融合方法2022出圈的ML研究:爆火的Stable Diffusion、通才智能体Gato,LeCun转推
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。