AIGC 席卷 AI 顶会：ICLR 2023 论文得分出炉，扩散模型研究暴增

2022-11-08 09:11

作者 | 李梅

编辑 | 陈彩娴

11 月 5 日，人工智能顶级会议 ICLR 2023 的评审结果正式发布。

除了讨论提交论文的分数、录用可能性、如何 rebuttal 之外，Diffusion Model（扩散模型）成了今年 ICLR 的热门关键词之一，以扩散模型为研究主题的投稿论文数量出现暴涨，所涵盖的具体方向也十分广泛。

ICLR 2023 的论文提交截止日期是今年的 9 月 28 日，距离文本生成图像模型 DALL·E 2 的问世不过 5 个月，Stable Diffusion 的发布也只是在 8 月份。扩散模型这一波研究热潮，实在是“扩散”得飞快，AIGC 的兴起正当时。

ICLR 2023 审稿概况

ICLR 全称是 International Conference on Learning Representations（国际学习表征会议），由深度学习三巨头其中的两位 Yoshua Bengio 和 Yann LeCun 牵头创办于2013年，在人工智能领域地位举足轻重。ICLR 2023 将于 2023 年 5 月 1 日至 5 月 5 日在卢旺达基加利举行。

本届会议共计有 6300 份初始摘要投稿和 4922 份经过评审的投稿，其中经过评审的投稿比去年增加了 32.2%。在 4922 份投稿中，有 99%（4883）得到了至少 3 份评审，一共有超过 18500 份评审。

图注：历年ICLR接收投稿数量

ICLR 的审稿分数和意见全部在 OpenReview 平台上公开，一些网友已经爬取了平台上本轮审稿的论文得分数据，做了相关排名统计。

论文评分方面，今年的论文平均得分为 4.95。最终的论文录用结果尚未公布，参照上一年 32.3% 的录用率，今年共有 1556 篇左右的论文有希望被录用，最低均分线在 5.50 分。

图注：ICLR 2023 论文评分分布

扩散模型成大热门

毫无疑问，扩散模型在今年是一个大热门，从 ICLR 2023 的论文投稿情况就能看出，这波研究热潮已经掀起。

从提交论文的主题来看，最热门的方向与往年相差不大，强化学习、深度学习、表征学习、图神经网络等仍旧是热点。而其中尤其引人注目的，是排在第 14 名的 Diffusion model。

图注：2022 年和 2023 年 ICLR 论文投稿关键词频率比较

从下图显示的频率排名变化幅度最大的前 10 个论文关键词可以看到，去年的 Diffusion model 还排在第 173 名。

论文题目中的关键词频率也印证了扩散模型的研究热度有多高：

上图是论文标题关键词频率排名变化幅度最大的前 10 个关键词，diffusion 位列第 2，从去年的第 132 名大幅暴增到第 25 名。

甚至有网友开玩笑，不如就把 ICLR 2023 的名字改为“Diffusion Conference 2023”吧......

据粗略统计，ICLR 2023 的论文投稿中，有 100 多篇论文以扩散模型为研究主题，在 233 篇得分为 7分（含）及以上的论文中，共有 13 篇涉及扩散模型。

这些工作所涵盖的具体方向也十分广，如高效采样、与其他生成模型结合、在CV/NLP领域的应用、在多模态领域的应用、与强化学习结合、分子图建模、扩散模型理论与理解、扩散模型泛化与拓展、扩散模型迁移、特殊结构数据的建模、鲁棒性与稳定性、扩散模型的隐私保护，以及其他方向。

研究提出的生成模型涉及多个模态，模型本身的名字也是五花八门，过去几个月令人惊艳的许多生成模型都在其中，如：

来自谷歌的文本生成 3D 模型 DreamFusion（被称为“3D 版 DALL·E”），论文还得到了 8.0 的高分，总排名第 13。

另外还有谷歌发布的检索增强的文本生成图像模型 Re-Imagen、文本生成视频模型 Phenaki，Meta 的文本生成视频模型 Make-A-Video等等。

扩散模型所引发的这一波 AIGC 热潮是席卷式的。扩散模型第一次被提出是在 2020 年，UC 伯克利的Pieter Abbeel 等人提出去噪扩散概率模型（Denoising Diffusion Probabilistic Model, DDPM），在图像生成方面击败了 GAN，向世界展示了扩散模型的威力。