CVPR 2023 | Collaborative Diffusion 怎样让不同的扩散模型合作？

代码链接：

网页链接：

视频链接：

我们先看看不同扩散模型合作生成图片的效果～

当 text-to-image 和 mask-to-image 通过 Collaborative Diffusion 合作时，生成的图片可以达到和输入的 text 以及 mask 高度一致。

那不同的扩散模型究竟怎样实现合作呢？

首先，我们知道，扩散模型在生成图片的过程中，会从高斯噪声开始，逐步去噪，最终得到自然图像。

图片来源：CVPR 2022 Tutorial: Denoising Diffusion-based Generative Modeling: Foundations and Applications

基于扩散模型迭代去噪的性质，我们的 Collaborative Diffusion 在去噪的每一步都会动态地预测不同的扩散模型如何有效合作，各取所长。Collaborative Diffusion 的基本框架如下图所示。

我们在每一步去噪时，用 Dynamic Diffusers 动态地预测每个扩散模型对整体预测结果带来的影响（也就是 Influence Functions）。Influence Functions 会选择性地增强或者减少某个扩散模型的贡献，从而让各位合作者（也就是扩散模型）发挥专长，实现合作共赢。 

值得注意的是，预测得到的 Influence Functions 在时间和空间上都是适应性变化的。下图展示了 mask-to-image 和 text-to-image 模型合作时，在不同时间和空间位置的 Influence Functions 强度。

从上图中我们可以观察到，在时间上，决定 mask-to-image 模型影响的 Influence Functions 在去噪初期很强（第一行左边），到后期逐渐变弱（第一行右边），这是因为扩散模型在去噪初期会首先形成图片内容的布局，到后期才会逐渐生成纹路和细节；而在多模态控制人脸生成时，图片的布局信息主要是由 mask 提供的，因此 mask 分支的 Influence Functions 会随着时间由强变弱。

与之相对应的 text-to-image 模型的 Influence Functions（第二行）会随着时间由弱到强，因为 text 提供的多数信息是与细节纹路相关的，例如胡子的浓密程度，头发颜色，以及与年龄相关的皮肤皱纹，而扩散模型的去噪过程也是在后期才会逐步确定图片的纹理以及细节。 

与此同时，在空间上，mask-to-image 模型的 Influence 在面部区域分界处更强，例如面部轮廓和头发的外边缘，因为这些地方对整体面部布局是至关重要的。text-to-image 模型的 Influence 则在面中，尤其是脸颊和胡子所在的区域较强，因为这些区域的纹理需要 text 提供的年龄，胡子等信息来填充。

Collaborative Diffusion的通用性

Collaborative Diffusion 是一个通用的框架，它不仅适用于图片生成，还可以让 text-based editing和mask-based editing 方法合作起来。我们利用在生成任务上训练的 Dynamic Diffusers 来预测 Influence Functions，并将其直接用到 editing 中。话不多说我们看图。

完整的实验细节和实验结果，以及更多图片结果，请参考论文。

总结

我们提出了 Collaborative Diffusion，一种简单有效的方法来实现不同扩散模型之间的合作。我们充分利用扩散模型的迭代去噪的性质，设计了 Dynamic Diffuser 来预测在时间和空间上均有适应性的 Influence Functions 来控制不同的扩散模型如何合作。我们实现了高质量的多模态控制的人脸生成和编辑。 

Collaborative Diffusion 是一个通用的框架，不仅适用于图片生成，还适用于图片编辑，以及未来更多的基于扩散模型的其他任务。 

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[email protected] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧