狙击扩散模型！谷歌&伯克利提出IGN：单步生成逼真图像！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【扩散模型和GAN】微信交流群

在CVer微信公众号后台回复：IGN，可以下载本论文pdf、代码，学起来！

转载自：新智元 | 编辑：桃子

已经红遍半边天的扩散模型，将被淘汰了？

当前，生成式AI模型，比如GAN、扩散模型或一致性模型，通过将输入映射到对应目标数据分布的输出，来生成图像。

通常情况下，这种模型需要学习很多真实的图片，然后才能尽量保证生成图片的真实特征。

最近，来自UC伯克利和谷歌的研究人员提出了一种全新生成模型——幂等生成网络（IGN）。

论文地址：https://arxiv.org/abs/2311.01462

IGNs可以从各种各样的输入，比如随机噪声、简单的图形等，通过单步生成逼真的图像，并且不需要多步迭代。

这一模型旨在成为一个「全局映射器」（global projector），可以把任何输入数据映射到目标数据分布。

简言之，通用图像生成模型未来一定是这样的。

有趣的是，《宋飞正传》中一个高效的场景竟成为作者的灵感来源。

这个场景很好地总结了「幂等运算符」（idempotent operator）这一概念，是指在运算过程中，对同一个输入重复进行运算，得到的结果总是一样的。

即。

正如Jerry Seinfeld幽默地指出的那样，一些现实生活中的行为也可以被认为是幂等的。

IGN与GAN、扩散模型有两点重要的不同之处：

- 与GAN不同的是，IGN无需单独的生成器和判别器，它是一个「自对抗」的模型，同时完成生成和判别。

- 与执行增量步骤的扩散模型不同，IGN尝试在单个步中将输入映射到数据分布。

那么，幂等生成模型（IGN）怎么来的？

它被训练为从源分布给定输入样本的目标分布，生成样本。

给定示例数据集，每个示例均取自。然后，研究人员训练模型将映射到。

假设分布和位于同一空间，即它们的实例具有相同的维度。这允许将应用于两种类型的实例和。

如图展示了IGN背后的基本思想：真实示例 (x) 对于模型 f 是不变的。其他输入 (z) 被映射到f通过优化映射到自身的实例流上。

IGN训练例程PyTorch代码的一部分示例。

得到IGN后，效果如何呢？

作者承认，现阶段，IGN的生成结果无法与最先进的模型相竞争。

在实验中，使用的较小的模型和较低分辨率的数据集，并在探索中主要关注简化方法。

当然了，基础生成建模技术，如GAN、扩散模型，也是花了相当长的时间才达到成熟、规模化的性能。

实验设置

研究人员在MNIST（灰度手写数字数据集）和 CelebA（人脸图像数据集）上评估IGN，分别使用28×28和64×64的图像分辨率。

作者采用了简单的自动编码器架构，其中编码器是来自DCGAN的简单五层鉴别器主干，解码器是生成器。训练和网络超参数如表1所示。

生成结果

图4显示了应用模型一次和连续两次后两个数据集的定性结果。

如图所示，应用IGN 一次 (f (z)) 会产生相干生成结果。然而，可能会出现伪影，例如MNIST数字中的孔洞，或者面部图像中头顶和头发的扭曲像素。

再次应用 f (f (f (z))) 可以纠正这些问题，填充孔洞，或减少面部噪声斑块周围的总变化。

图7显示了附加结果以及应用f三次的结果。

比较和表明，当图像接近学习流形时，再次应用f会导致最小的变化，因为图像被认为是分布的。

潜在空间操纵

作者通过执行操作证明IGN具有一致的潜在空间，与GAN所示的类似，图6显示了潜在空间算法。

分布外映射

作者还验证通过将来自各种分布的图像输入到模型中以生成其等效的「自然图像」，来验证IGN「全局映射」的潜力。

研究人员通过对噪声图像x+n 进行去噪、对灰度图像进行着色，以及将草图转换为图5中的真实图像来证明这一点。

原始图像x，这些逆任务是不适定的。IGN能够创建符合原始图像结构的自然映射。

如图所示，连续应用f可以提高图像质量（例如，它消除了投影草图中的黑暗和烟雾伪影）。

通过以上结果可以看出，IGN在推理方面更加有效，在训练后只需单步即可生成结果。

它们还可以输出更一致的结果，这可能推广到更多的应用中，比如医学图像修复。

论文作者表示：

我们认为这项工作是迈向模型的第一步，该模型学习将任意输入映射到目标分布，这是生成建模的新范式。

接下来，研究团队计划用更多的数据来扩大IGN的规模，希望挖掘新的生成式AI模型的全部潜力。

最新研究的代码，未来将在GitHub上公开。

在CVer微信公众号后台回复：IGN，可以下载本论文pdf、代码，学起来！

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集
扩散模型和GAN交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-扩散模型或者GAN微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。

一定要备注：研究方向+地点+学校/公司+昵称（如扩散模型或者GAN+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看