Redian新闻
>
终结扩散模型:OpenAI开源新模型代码,一步成图,1秒18张

终结扩散模型:OpenAI开源新模型代码,一步成图,1秒18张

公众号新闻
机器之心报道

机器之心编辑部

扩散模型的时代结束了。


在 AI 画图的领域,人们一直关注的是扩散模型,人们一直在尝试不断改进,推出了 Stable Diffusion、Midjourney、DALL-E 等技术,并在其基础上构建应用。不过最近,OpenAI 提出的全新生成模型看起来要让这一领域经历一场革命。


与高调推出 ChatGPT 、GPT-4 不同,这次 OpenAI 在上个月偷偷上传了一篇论文《 Consistency Models 》,也不能说是偷偷,只是这次没有媒体大张旗鼓的报道,就显得这项研究有些低调。论文内容主要是关于图像生成领域的。


作者阵容也非常强大,有本科毕业于清华大学数理基础科学班、目前在 OpenAI 担任研究员的宋飏。宋飏将于 2024 年 1 月加入加州理工学院电子系(Electrical Engineering)和计算数学科学系(Computing and Mathematical Sciences)担任助理教授。此外还包括 OpenAI 联合创始人、首席科学家 Ilya Sutskever。


前面我们已经提到,OpenAI 的这项研究主要是图像生成方面的,大家或多或少的都听过这项技术,例如最近热门的 Midjourney 和 Stable Diffusion,它们大都采用扩散模型,由于其生成的图片效果惊艳,很多人都将其视为最好的工具。但扩散模型依赖于迭代生成过程,这导致此类方法采样速度缓慢,进而限制了它们在实时应用中的潜力。


OpenAI 的这项研究就是为了克服这个限制,提出了 Consistency Models,这是一类新的生成模型,无需对抗训练即可快速获得高质量样本。与此同时,OpenAI 还发布了 Consistency Models 实现以及权重。



  • 论文地址:https://arxiv.org/pdf/2303.01469.pdf

  • 代码地址:https://github.com/openai/consistency_models


具体而言,Consistency Models 支持快速 one-step 生成,同时仍然允许 few-step 采样,以权衡计算量和样本质量。它们还支持零样本(zero-shot)数据编辑,例如图像修复、着色和超分辨率,而无需针对这些任务进行具体训练。Consistency Models 可以用蒸馏预训练扩散模型的方式进行训练,也可以作为独立的生成模型进行训练。


研究团队通过实验证明 Consistency Models 在 one-step 和 few-step 生成中优于现有的扩散模型蒸馏方法。例如,在 one-step 生成方面,Consistency Models 在 CIFAR-10 上实现了新的 SOTA FID 3.55,在 ImageNet 64 x 64 上为 6.20。当作为独立生成模型进行训练时,Consistency Models 在 CIFAR-10、ImageNet 64 x 64 和 LSUN 256 x 256 等标准基准上的表现也优于 single-step、非对抗生成模型。


有网友将其视为扩散模型的有力竞争者!并表示 Consistency Models 无需对抗性训练,这使得它们更容易训练,不容易出现模式崩溃。



还有网友认为扩散模型的时代即将结束。



更有网友测试了生成速度,3.5 秒生成了 64 张分辨率 256×256 的图片,平均一秒生成 18 张。



接下来我们看看 Consistency Model 零样本图像编辑能力:


图 6a 展示了 Consistency Model 可以在测试时对灰度卧室图像进行着色,即使它从未接受过着色任务的训练,可以看出,Consistency Model 的着色效果非常自然,很逼真;图 6b 展示了 Consistency Model 可以从低分辨率输入生成高分辨率图像,Consistency Model 将 32x32 分辨率图像转成 256x256 高分辨率图像,和真值图像(最右边)看起来没什么区别。图 6c 证明了 Consistency Model 可以根据人类要求生成图像(生成了有床和柜子的卧室)。



Consistency Model 图像修复功能:左边是经过掩码的图像,中间是 Consistency Model 修复的图像,最右边是参考图像:


Consistency Model 生成高分辨率图像:左侧为分辨率 32 x 32 的下采样图像、中间为 Consistency Model 生成的 256 x 256 图像,右边为分辨率为 256x 256 的真值图像。相比于初始图像,Consistency Model 生成的图像更清晰。



模型介绍


Consistency Models 作为一种生成模型,核心设计思想是支持 single-step 生成,同时仍然允许迭代生成,支持零样本(zero-shot)数据编辑,权衡了样本质量与计算量。


我们来看一下 Consistency Models 的定义、参数化和采样。


首先 Consistency Models 建立在连续时间扩散模型中的概率流 (PF) 常微分方程 (ODE) 之上。如下图 1 所示,给定一个将数据平滑地转换为噪声的 PF ODE,Consistency Models 学会在任何时间步(time step)将任意点映射成轨迹的初始点以进行生成式建模。Consistency Models 一个显著的特性是自洽性(self-consistency):同一轨迹上的点会映射到相同的初始点。这也是模型被命名为 Consistency Models(一致性模型)的原因。



Consistency Models 允许通过仅使用 one network 评估转换随机噪声向量(ODE 轨迹的端点,例如图 1 中的 x_T)来生成数据样本(ODE 轨迹的初始点,例如图 1 中的 x_0)。更重要的是,通过在多个时间步链接 Consistency Models 模型的输出,该方法可以提高样本质量,并以更多计算为代价执行零样本数据编辑,类似于扩散模型的迭代优化。



在训练方面,研究团队为 Consistency Models 提供了两种基于自洽性的方法。第一种方法依赖于使用数值 ODE 求解器和预训练扩散模型来生成 PF ODE 轨迹上的相邻点对。通过最小化这些点对的模型输出之间的差异,该研究有效地将扩散模型蒸馏为 Consistency Models,从而允许通过 one network 评估生成高质量样本。


第二种方法则是完全消除了对预训练扩散模型的依赖,可独立训练 Consistency Models。这种方法将 Consistency Models 定位为一类独立的生成模型。


值得注意的是,这两种训练方法都不需要对抗训练,并且都允许 Consistency Models 灵活采用神经网络架构。


实验及结果


实验数据集包括 CIFAR-10 、ImageNet 64x 64 、LSUN Bedroom 256 x 256 、 LSUN Cat 256 x 256。首先该研究在 CIFAR-10 上进行了一系列实验。结果图 3 所示。



 Few-Step 图像生成


接着该研究在 ImageNet 64x 64、LSUN Bedroom 256 x 256 数据集上进行实验,结果如图 4 所示。



表 1 表明,CD( consistency distillation )优于 Knowledge Distillation、DFNO 等方法。



表 1 和表 2 表明 CT( consistency training ) 在 CIFAR-10 上的表现优于所有 single-step、非对抗性生成模型,即 VAE 和归一化流。此外,CT 在不依赖蒸馏的情况下获得与 PD ( progressive distillation )相当的质量,用于 single-step 生成。 



图 5 提供了 EDM  (Karras et al., 2022)  样本(顶部)、single-step CT 样本(中)和 two-step CT 样本(底部)。



了解更多内容,请参考原论文。



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
谷歌优化扩散模型!在三星手机上运行Stable Diffusion,12秒内出图!扩散模型生成带汉字图像,一键输出表情包:OPPO等提出GlyphDraw图像生成终结扩散模型,OpenAI「一致性模型」加冕!GAN的速度一步生图,高达18FPSAgustín Hernández:中美洲建筑背景下的未来主义巨构扩散模型这次杀疯了!重访西班牙(12)-黄金之城的欢歌玩不起RLHF?港科大开源高效对齐算法RAFT「木筏」,GPT扩散模型都能用胡鑫宇死因真相大反转,八条信息揭露了他的真实死因?ControlNet如何为扩散模型添加额外模态的引导信息?程序员教 AI 写代码,反被 AI 取代?谷歌工程主管:AIGC 将在 3 年内终结编程CVPR'23 最佳论文候选 | 采样提速256倍!蒸馏扩散模型生成图像质量媲美教师模型扩散模型还能预测地震和犯罪?清华团队最新研究提出时空扩散点过程谷歌、OpenAI 都白干,开源才是终极赢家!谷歌内部文件泄露:欲借开源打败 OpenAIELITE项目原作解读:基于扩散模型的快速定制化图像生成扩散模型这么强了?!开源了!UniControl:可控视觉生成的统一扩散模型AIGC玩出新花样!Stable Diffusion公司提出基于扩散模型的视频合成新模型CVPR 2023 | 微软提出LDGM:利用解耦扩散模型统一版面生成微软3D生成扩散模型RODIN,秒级定制3D数字化身大红大紫的扩散模型,真就比GAN强吗?速度惊人!手机跑Stable Diffusion,12秒出图,谷歌加速扩散模型破记录炸掉北溪民用设施习不想做点啥我的厉害国, 下了狠手?Meta开源大模型:支持4000+语言识别,1100+种语音文本转换窃取开源代码,还拉黑质疑者,这家 AI 公司试图删除代码了事OpenAI 开源新模型代码,一步成图,1 秒 18 张7 Papers & Radios | 爆火论文打造《西部世界》雏形;OpenAI终结扩散模型重磅内幕:OpenAI即将开源新模型!开源社区的繁荣,全靠大厂「施舍」?8张数据图,带你扒一扒地方两会的重点|晓报告2对夫妻自驾游,晚上妻子故意装睡,看到丈夫惊人的举动提出离婚聊聊大火的扩散模型和AIGCChatGPT开源平替:OpenAssistant OASST1微调版Pythia-12B生成扩散模型漫谈:W距离 ≤ 得分匹配谷歌下场优化扩散模型,三星手机运行Stable Diffusion,12秒内出图证件照转数字人只需几秒钟,微软实现首个3D扩散模型高质量生成效果,换装改形象一句话搞定 | CVPR 2023
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。