CVPR'23 最佳论文候选 | 采样提速256倍！蒸馏扩散模型生成图像质量媲美教师模型

去噪扩散概率模型（DDPM）在图像生成、音频合成、分子生成和似然估计领域都已经实现了 SOTA 性能。同时无分类器（classifier-free）指导进一步提升了扩散模型的样本质量，并已被广泛应用在包括 GLIDE、DALL·E 2 和 Imagen 在内的大规模扩散模型框架中。

然而，无分类器指导的一大关键局限是它的采样效率低下，需要对两个扩散模型评估数百次才能生成一个样本。这一局限阻碍了无分类指导模型在真实世界设置中的应用。尽管已经针对扩散模型提出了蒸馏方法，但目前这些方法不适用无分类器指导扩散模型。

为了解决这一问题，近日斯坦福大学和谷歌大脑的研究者在论文《On Distillation of Guided Diffusion Models》中提出使用两步蒸馏（two-step distillation）方法来提升无分类器指导的采样效率。

在第一步中，他们引入单一学生模型来匹配两个教师扩散模型的组合输出；在第二步中，他们利用提出的方法逐渐地将从第一步学得的模型蒸馏为更少步骤的模型。

利用提出的方法，单个蒸馏模型能够处理各种不同的指导强度，从而高效地对样本质量和多样性进行权衡。此外为了从他们的模型中采样，研究者考虑了文献中已有的确定性采样器，并进一步提出了随机采样过程。

论文链接：

研究者在 ImageNet 64x64 和 CIFAR-10 上进行了实验，结果表明提出的蒸馏模型只需 4 步就能生成在视觉上与教师模型媲美的样本，并且在更广泛的指导强度上只需 8 到 16 步就能实现与教师模型媲美的 FID/IS 分数，具体如下图 1 所示。

此外，在 ImageNet 64x64 上的其他实验结果也表明了，研究者提出的框架在风格迁移应用中也表现良好。

实验

实验评估了蒸馏方法的性能，本文主要关注模型在 ImageNet 64x64 和 CIFAR-10 上的结果。他们探索了指导权重的不同范围，并观察到所有范围都具有可比性，因此实验采用 [w_min, w_max] = [0, 4]。图 2 和表 1 报告了在 ImageNet 64x64 上所有方法的性能。

本文还进行了如下实验。具体来说，为了在两个域 A 和 B 之间执行风格迁移，本文使用在域 A 上训练的扩散模型对来自域 A 的图像进行编码，然后使用在域 B 上训练的扩散模型进行解码。由于编码过程可以理解为反向 DDIM 采样过程，本文在无分类器指导下对编码器和解码器进行蒸馏，并与下图 3 中的 DDIM 编码器和解码器进行比较。

本文还探讨了如何修改指导强度 w 以影响性能，如下图 4 所示。

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[email protected] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧