Redian新闻
>
CVPR'23 最佳论文候选 | 采样提速256倍!蒸馏扩散模型生成图像质量媲美教师模型

CVPR'23 最佳论文候选 | 采样提速256倍!蒸馏扩散模型生成图像质量媲美教师模型

公众号新闻


©作者 | 杜伟、陈萍
来源 | 机器之心


斯坦福大学联合谷歌大脑使用「两步蒸馏方法」提升无分类器指导的采样效率,在生成样本质量和采样速度上都有非常亮眼的表现。

去噪扩散概率模型(DDPM)在图像生成、音频合成、分子生成和似然估计领域都已经实现了 SOTA 性能。同时无分类器(classifier-free)指导进一步提升了扩散模型的样本质量,并已被广泛应用在包括 GLIDE、DALL·E 2 和 Imagen 在内的大规模扩散模型框架中。


然而,无分类器指导的一大关键局限是它的采样效率低下,需要对两个扩散模型评估数百次才能生成一个样本。这一局限阻碍了无分类指导模型在真实世界设置中的应用。尽管已经针对扩散模型提出了蒸馏方法,但目前这些方法不适用无分类器指导扩散模型。


为了解决这一问题,近日斯坦福大学和谷歌大脑的研究者在论文《On Distillation of Guided Diffusion Models》中提出使用两步蒸馏(two-step distillation)方法来提升无分类器指导的采样效率。


在第一步中,他们引入单一学生模型来匹配两个教师扩散模型的组合输出;在第二步中,他们利用提出的方法逐渐地将从第一步学得的模型蒸馏为更少步骤的模型。


利用提出的方法,单个蒸馏模型能够处理各种不同的指导强度,从而高效地对样本质量和多样性进行权衡。此外为了从他们的模型中采样,研究者考虑了文献中已有的确定性采样器,并进一步提出了随机采样过程。



论文标题:
On Distillation of Guided Diffusion Models

论文链接:

https://arxiv.org/pdf/2210.03142.pdf


研究者在 ImageNet 64x64 和 CIFAR-10 上进行了实验,结果表明提出的蒸馏模型只需 4 步就能生成在视觉上与教师模型媲美的样本,并且在更广泛的指导强度上只需 8 到 16 步就能实现与教师模型媲美的 FID/IS 分数,具体如下图 1 所示。



此外,在 ImageNet 64x64 上的其他实验结果也表明了,研究者提出的框架在风格迁移应用中也表现良好。




方法介绍


接下来本文讨论了蒸馏无分类器指导扩散模型的方法 ( distilling a classifierfree guided diffusion model)。给定一个训练好的指导模型,即教师模型 之后本文分两步完成。
第一步引入一个连续时间学生模型 ,该模型具有可学习参数 ,以匹配教师模型在任意时间步 处的输出。给定一个优化范围 [w_min, w_max],对学生模型进行优化:
其中,。为了合并指导权重 ,本文引入了 一个 - 条件模型,其中 作为学生模型的输入。为了更好地捕捉特征,本文还对 应用傅里叶嵌入。此外,由于初始化在模型性能中起着关键作用,因此本文初始化学生模型的参数与教师模型相同。
在第二步中,本文将离散时间步(discrete time-step)考虑在内,并逐步将第一步中的蒸馏模型 转化为步数较短的学生模型 ,其可学习参数为 ,每次采样步数减半。
为采样步数,给定 ,然后根据 Salimans & Ho 等人提出的方法训练学生模型。在将教师模型中的 步蒸馏为学生模型中的 步之后,之后使用 步学生模型作为新的教师模型,这个过程不断重复,直到将教师模型蒸馏为 步学生模型。
步可确定性和随机采样:一旦模型 训练完成,给定一个指定的 ,然后使用 DDIM 更新规则执行采样。
实际上,本文也可以执行 步随机采样,使用两倍于原始步长的确定性采样步骤,然后使用原始步长向后执行一个随机步骤。对于 ,当 时,本文使用以下更新规则。





实验


实验评估了蒸馏方法的性能,本文主要关注模型在 ImageNet 64x64 和 CIFAR-10 上的结果。他们探索了指导权重的不同范围,并观察到所有范围都具有可比性,因此实验采用 [w_min, w_max] = [0, 4]。图 2 和表 1 报告了在 ImageNet 64x64 上所有方法的性能。




本文还进行了如下实验。具体来说,为了在两个域 A 和 B 之间执行风格迁移,本文使用在域 A 上训练的扩散模型对来自域 A 的图像进行编码,然后使用在域 B 上训练的扩散模型进行解码。由于编码过程可以理解为反向 DDIM 采样过程,本文在无分类器指导下对编码器和解码器进行蒸馏,并与下图 3 中的 DDIM 编码器和解码器进行比较。



本文还探讨了如何修改指导强度 w 以影响性能,如下图 4 所示。




更多阅读



#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道:

• 投稿邮箱:[email protected] 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编



🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧


·
·
·

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
CVPR 2023 | 多个扩散模型相互合作,新方法实现多模态人脸生成与编辑图像生成终结扩散模型,OpenAI「一致性模型」加冕!GAN的速度一步生图,高达18FPS【谝闲分享】:再写一篇有关我家老三。证件照转数字人只需几秒钟,微软实现首个3D扩散模型高质量生成效果,换装改形象一句话搞定 | CVPR 2023终结扩散模型:OpenAI开源新模型代码,一步成图,1秒18张人间再无刘三姐今年 CV 热点这么多,不可错过 CVPR 2023 线下论文分享会CVPR最佳论文颁给自动驾驶大模型!中国团队第一单位,近10年三大视觉顶会首例CVPR 2023 医学图像分割论文大盘点论文插图也能自动生成了!用到了扩散模型,还被ICLR 2023接收!AAAI 2023 | 图像质量堪忧干扰视觉识别,达摩院提出更鲁棒框架CVPR 2023 | 谷歌、MIT提出统一框架MAGE:表征学习超MAE,无监督图像生成超越 Latent Diffusion扩散模型生成带汉字图像,一键输出表情包:OPPO等提出GlyphDrawCVPR 2023最佳论文候选出炉,12篇上榜!武大、港中文、商汤等国内机构多篇入选AAAI 2023 Oral | 图像质量堪忧干扰视觉识别,达摩院提出更鲁棒框架CVPR 2023 | Collaborative Diffusion 怎样让不同的扩散模型合作?没有邓小平右派慢慢长夜无绝期寓意不祥花,无辜任怨嗟CVPR 2023论文总结!CV最热领域颁给多模态、扩散模型近十年首次,国内机构上海AI Lab、武大、商汤研究获CVPR 2023最佳论文中国团队自动驾驶大模型斩获CVPR最佳论文;Stability AI推出新文生图模型;京东大模型即将发布丨AIGC大事日报【附PDF】整理了114篇医疗论文,含cvpr2023医疗论文+经典论文+医疗论文综述等CVPR最佳论文:大模型成就端到端自动驾驶|焦点分析如何更好地蒸馏ChatGPT模型能力:Lion闭源大型语言模型的对抗性蒸馏模型原理及实验工作介绍AAAI 2023 Oral | 图像质量堪忧干扰视觉识别!达摩院提出RTS:鲁棒性特征建模框架CVPR 2023 | G2SD: 让小模型也能从自监督预训练中受益的蒸馏方法CVPR 2023 | 超越MAE!谷歌提出MAGE:图像分类和生成达到SOTA!ELITE项目原作解读:基于扩散模型的快速定制化图像生成CVPR 2023 | 统一框架MAGE:表征学习超MAE,无监督图像生成超越Latent Diffusion怎么开始学佛(十二)成佛就是成自己CVPR 2023 | 微软提出LDGM:利用解耦扩散模型统一版面生成CVPR 2023最佳论文候选!真实高精3D物体数据集OmniObject3DCVPR 2023最佳论文候选出炉!武大、港中文、商汤等国内机构多篇入选上海AI实验室联合团队获CVPR最佳论文奖 | CVPR 2023首个感知决策一体化自动驾驶通用大模型!商汤联合团队获CVPR 2023最佳论文
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。