Redian新闻
>
生成扩散模型漫谈:构建ODE的一般步骤(上)

生成扩散模型漫谈:构建ODE的一般步骤(上)

科技

©PaperWeekly 原创 · 作者 | 苏剑林
单位 | 追一科技
研究方向 | NLP、神经网络


书接上文,在《生成扩散模型漫谈:从万有引力到扩散模型》中,我们介绍了一个由万有引力启发的、几何意义非常清晰的 ODE 式生成扩散模型。有的读者看了之后就疑问:似乎“万有引力”并不是唯一的选择,其他形式的力是否可以由同样的物理绘景构建扩散模型?另一方面,该模型在物理上确实很直观,但还欠缺从数学上证明最后确实能学习到数据分布。

本文就尝试从数学角度比较精确地回答“什么样的力场适合构建 ODE 式生成扩散模型”这个问题。




基础结论

要回答这个问题,需要用到在《生成扩散模型漫谈:“硬刚”扩散ODE》中我们推导过的一个关于常微分方程对应的分布变化的结论。

考虑 的一阶(常)微分方程(组)
它描述了从 的一个(可逆)变换,如果 是一个随机变量,那么整个过程中的 也都是随机变量,它的分布变化规律,可以由如下方程描述

该结果可以按照《生成扩散模型漫谈:“硬刚”扩散 ODE》的格式用“雅可比行列式+泰勒近似”的方式推导,也可以像《生成扩散模型漫谈:一般框架之ODE篇》一样先推导完整的“Fokker-Planck方程”,然后让 。顺便一提,方程(2)在物理上非常出名,它被称为“连续性方程” [1],是各种守恒定律的体现之一。
回到扩散模型,扩散模型想要做的事情,是构造一个变换,能够将简单分布的样本变换成目标分布的样本。而利用式(2),理论上我们可以通过给定的 来可以求出可行的 ,继而利用式(1)完成生成过程。注意,式(2)只是一个方程,但是要求解的 个分量,所以这是一个不定方程,原则上来说我们可以任意指定完整的 (而不单单是 两个边界)来求解
所以从理论上来说,构建 ODE 式扩散模型只是求解一个非常轻松的几乎没约束的不定方程。确实如此,但问题是这样求出来的解在实践上会有困难,说白了就是代码上不好实现。因此,问题的准确提法是如何从式(2)中求出更实用的解。



简化方程
留意到,式(2)可以改写成
如上式所示我们刚好可以当成 维的梯度  正好可以组成了一个 的向量 ,所以(2)可以写成简单的散度方程
在此形式之下有
其中 分别代表 的第一维分量和后 维分量。当然,不能忘了约束条件
其中 是数据分布,即要生成的目标样本分布。对于 时的终值分布,我们对它的要求只是尽可能简单,方便采样,除此之外没有定量要求,因此这里暂时不用写出。



格林函数
经过这样的形式变换后,我们可以将 看成一个 维的向量场,而微分方程(5)正好描述的是质点沿着场线运动的轨迹,这样就跟《生成扩散模型漫谈:从万有引力到扩散模型》所给出的物理图景同出一辙了。
为了求出 的一般解,我们可以用格林函数的思想。首先尝试求解如下问题:

容易证明,如果上式成立,那么
将是方程(4)满足相应约束的解。这样一来,我们就将 表示为了训练样本的期望形式,这有利于模型的训练。不难看出,这里的 实际上就是扩散模型中的条件概率
事实上,式(7)所定义的 ,并非通常意义下的格林函数。一般的格林函数指的是点源下的解,而这里的格林函数的“点源”放到了边界处。但即便如此,所定义的 依然具有常规格林函数类似的性质,它本身也相当于点源产生的“力场”,而式(8)也正好是对点源的场进行积分,求出了连续分布源的场。



万有引力
现在我们根据上述框架,求解一些具体的结果。前面已经提到,方程(4)或(7),都是“ 个未知数、一个方程”的不定方程,理论上具有无穷多的各式各样的解,我们要对它进行求解,反而要引入一些额外的假设,使得它的解更为明确一些。第一个解是基于各向同性假设,它正好对应《生成扩散模型漫谈:从万有引力到扩散模型》中的结果。



假设求解
注意,这里的“各向同性”,指的是在 组成的 维空间中的各向同性,这意味着是指向源点 的,且模长只依赖 因此可以设
于是

也即 ,或 ,即 ,因此一个候选解是



约束条件
可以看到,在各向同性假设下,万有引力解是唯一解了。为了证明是可行解,还要检验约束条件,其中关键一条是
其实我们只需要检验积分结果跟 都没关系,那么就可以选择适当的常数 让积分结果为0。而对于 ,可以检验做变量代换 ,由于 的范围是全空间的,所以 也是全空间的,代入上式得到
现在可以看出积分结果跟 都无关了。因此只要选择适当的 C,积分为 1 这一条检验可以通过。下面都假设已经选择了让积分为 1 的

至于初值,我们需要验证 ,这只需要按照狄拉克函数的定义进行检验就行了:

1、当 时,极限显然为 0;
2、当 时,极限显然为
3、刚才我们已经检验了, 关于 的积分恒为 1。
这三点正好是狄拉克函数的基本性质,甚至可以说是狄拉克函数的定义,因此初值检验也可以通过。



结果分析
现在,根据式(8)我们就有

接下来利用 构建一个类似得分匹配的目标进行学习就行了,这个过程已经说过多次,不再重复展开。

前面提到过, 实际上就是 ,现在我们已经知道它的具体形式为
足够大的时候, 的影响就微乎其微,即 退化为跟 无关的先验分布
之前我们在《生成扩散模型漫谈:从万有引力到扩散模型》中推导这一结果还颇费周折,而在这个框架下这一结果可谓是“水到渠成”了。不仅如此,现在我们 也有了,那么理论上就可以完成 的采样了。从式(13)的推导我们知道,如果做代换 ,就有
于是我们可以先从 中采样,然后通过 来得到相应的 。至于从 的采样,它只依赖于模长,所以我们可以通过逆累积函数法先采样模长,然后随机采样一个方向来构成采样结果,这跟先验分布的采样是完全一样的。不过,笔者在进一步研究下面的遗留问题时,发现了一个让人意外的“惊喜”!



问题重拾
《生成扩散模型漫谈(十三):从万有引力到扩散模型》中,我们曾指出原论文给出的采样方案是:
其中 维单位球面上均匀分布的单位向量,而   则都是常数。当时对这个采样的评价是“有颇多的主观性”,也就是觉得是原作者主观设计的,没太多的理由。然而,不知道作者有意还是无意,笔者发现了一个神奇的“巧合”:这个采样正好是式(17)的一个实现!
接下来我们证明这一点。首先,我们将上式后半部分代入前半部分,得到
形式上已经跟上一节说的 一样了,并且 也是各向同性的单位随机向量,所以问题变为 是否跟 同分布,答案是肯定的!注意,概率密度从笛卡尔坐标变为球坐标,要多乘以一个 ,所以根据式(17)有
而根据 由于研究的是比值,方差可以约掉,因此简单起见取 )有
,则 ,然后根据概率的相等性,有
因此 跟(20)完全一致。所以, 确实提供了 的一种有效采样方式,这在实现上要比逆累积函数法简单得多,但原论文并没有提及这一点。



时空分离
刚才我们求解了 组成的 维空间中的各向同性解,其实某种意义上来说,这算是最简单的一个解。可能这种说明有些读者难以接受,毕竟这个万有引力扩散模型在数学上看上去明显复杂得多。但事实上,在求解数学物理方程时,很多时候各向同性解确实是作为最简单的解来试探求解的。
当然,将 看成“时-空”整体的各向同性,在理解上确实没那么直观,我们更习惯的是理解空间上的各向同性,将时间维度独立开来,这一节就在这个假设下求解。



假设求解
也就是说,这部分的“各向同性”,指的是在 维空间中的各向同性被分解为 两部分来理解。其 只是一个标量,各向同性意味着它只依赖于 ,我们将它记为是一个 维向量,各向同性意味 指向源点 ,且模长只依赖于 ,因此可以设

于是

这里有两个待定函数 ,但只有一个方程,所以求解就更简单了。由于约束条件约束的 也就是 而不是 ,所以简单起见通常是给定满足条件的 来求解 ,结果是




高斯扩散
这部分我们来表明,常见的基于高斯分布假设的 ODE 扩散模型,也是式(25)的一个特例。对于高斯分布假设,有
,其中 是关于 的单调递增函数,满足 足够大, 是为了成立初值条件, 足够大是为了先验分布与数据无关,至于积分等于1的约束,这是高斯分布的基本性质,自然满足。
代入式(25)后解得:
其中 的积分涉及到不完全伽马函数,比较复杂,笔者是直接用 Mathematica 算的。有了这个结果后,我们有
从而根据式(5)有
这些结果跟《生成扩散模型漫谈:“硬刚”扩散ODE》的完全一致,剩下的处理细节,也可以参考该文章。



逆向构造
像刚才那样给定 来求解 的做法在理论上很简单,但在实践上会有两个困难:1) 既要满足初值条件,又要满足积分条件,不是那么容易构造的;2)对 的积分也不一定有简单的初等形式。既然如此,我们可以想一个逆向构造的方法。
我们知道, 是在笛卡尔坐标下的概率密度,换到球坐标下要乘以 ,而这正好是式(25)的被积函数,所以式(2)中的积分
正好是一个累积概率函数(更准确说,是累积概率函数加上一个常数),而从概率密度算累积概率不一定容易,但从累积概率算概率密度很简单(求导),所以我们可以先构造累积概率函数,然后再去求相应的 ,这样就免去了积分的困难。
具体来说,构造累积概率函数 ,满足如下条件:
1、
2、 关于 单调递增;
3、
稍微研究过激活函数的同学,应该不难构造满足上述条件的函数,它其实这就是“阶跃函数” [2] 的光滑近似,比如 等。有了 后,根据式(25),我们就有
其中 的任意函数,一般情况下可以直接设为 0。当然,这些各向同性解本质上都是等价的,包括前一节推导的“万有引力扩散”也是如此,它们都可以纳入上式之中,也可以通过坐标变换相互推导,这是因为上式只依赖于一个一元的累积概率函数 ,不同分布之间的累积概率函数一般都可以相互变换(它们都是形态良好的单调递增函数)。



文章小结
本文构建了一个 ODE 式扩散的一般框架,理论上来说,所有的 ODE 式扩散模型可以纳入到该框架之中,我们也可以从中推导出各种新奇的、奇葩的 ODE 式扩散模型,比如目前的推导都是基于各向同性假设的,其实也可以将各向同性的 换成更一般的 ,这可以利用《一阶偏微分方程的特征线法》[3] 的方法来完成求解,得到一簇新的模型。总的来说,这是一个名副其实的 ODE 式扩散模型的“生产车间”。

可能有读者想问,我不就想要一个可用的生成扩散模型而已,你搞那么多花里花俏的变体又有什么价值?事实上,跟之前《f-GAN简介:GAN模型的生产车间》《Designing GANs:又一个GAN生产车间》一样,我们希望发现、掌握生成模型的构建规律,以便进一步理解生成模型的关键,从而发现更有效的生成模型,这是一个追求完美的永无止境的过程。

之前“万有引力扩散”论文中的实验结果已经表明,作为一个 ODE 式扩散模型,它要比高斯扩散的效果要好些。这就说明,即便是基于各向同性假设,这些数学本质等价的扩散模型在实践上依然会有效果差异。所以,如何更好地结合实验细节来回答“什么样的设计才是更好的扩散模型”,将会是未来的一个非常有意义的研究问题。

参考文献

[1] https://en.wikipedia.org/wiki/Continuity_equation

[2] https://en.wikipedia.org/wiki/Heaviside_step_function

[3] https://kexue.fm/archives/4718


更多阅读



#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道:

• 投稿邮箱:[email protected] 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编



🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧
·
·

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
Transformer如何做扩散模型?伯克利最新《transformer可扩展扩散模型》论文生成扩散模型漫谈:“硬刚”扩散ODE扩散模型再下一城!AR-LDM:用扩散模型合成连贯视觉故事!输入字幕就能脑补画面,代词ta都分得清尼泊尔空难72人全部遇难,空难调查的一般步骤是怎样的? | 二湘空间ICLR 2023 | 扩散生成模型新方法:极度简化,一步生成ICLR 2023(投稿) | 扩散模型相关论文分类整理中科大&微软提出SinDiffusion:从单个自然图像学习扩散模型NeurIPS 2022 | Stable Diffusion采样速度翻倍!清华提出扩散模型高效求解器生成扩散模型漫谈:统一扩散模型(理论篇)Stable Diffusion采样速度翻倍!仅需10到25步的扩散模型采样算法扩散模型和Transformer梦幻联动!一举拿下新SOTA,MILA博士:U-Net已死民国六美人:气质美如兰,才华馥比仙,写得好书法AIGC 席卷 AI 顶会:ICLR 2023 论文得分出炉,扩散模型研究暴增卷!用扩散模型合成连贯视觉故事,输入字幕就能脑补画面,代词ta都分得清看电视连续剧《第二次拥抱》生成扩散模型漫谈:W距离 ≤ 得分匹配浅谈扩散模型的有分类器引导和无分类器引导7 Papers & Radios | 谷歌推出DreamBooth扩散模型;张益唐零点猜想论文出炉秀才,举人,和进士换到现在相当于什么。。。扩散模型再发力!Hinton团队提出:图像和视频全景分割新框架生成扩散模型漫谈:从万有引力到扩散模型只需3个样本一句话,AI就能定制照片级图像,谷歌在玩一种很新的扩散模型迪福润丝生物成功构建Omicron 新冠假病毒!助力加快新型疫苗和抗病毒药物研发【30/50】十月活动-秋日的时尚扩散模型和Transformer梦幻联动!替换U-Net,一举拿下新SOTA!统治扩散模型的U-Net要被取代了,谢赛宁等引入Transformer提出DiT谷歌新作:基于扩散模型的视频生成开挖扩散模型小动作,生成图像几乎原版复制训练数据,隐私要暴露了抗美援朝时彭德怀嘉奖38军电报手稿,硬笔字迹光明磊落,铮铮铁骨​生成扩散模型漫谈:构建ODE的一般步骤(下)物理改变图像生成:扩散模型启发于热力学,比它速度快10倍的挑战者来自电动力学谷歌提出DreamBooth:新扩散模型!只需3张图一句话,AI就能定制照片级图像!ICLR 2023 论文得分出炉!扩散模型研究暴增!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。