ICLR'23 | 投稿量暴涨46%,「GNN」依旧热门,「Diffusion」&「Mask」后来居上

公众号新闻

2022-10-09 01:10

MLNLP社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。

转载自 | 图神经网络与推荐系统

作者 | GEAR

国庆期间闲得无聊勤勤恳恳地做了一次ICLR2023 Openreview的论文投稿分析，从OpenReview 网页抓取了论文数据，并做了2022和2023年论文关键词、标题高频词等信息的可视化比较。

『ICLR 2023 会议介绍』

ICLR，全称为「International Conference on Learning Representations」（国际学习表征会议），由深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun 牵头创办于2013年，被认为是深度学习的顶级会议，素有「无冕之王」之称。

『ICLR 2023 论文提交情况分析』

ICLR采用了Open Review的评审机制，这意味着所有提交的稿件都会公开信息，并且接受所有同行的评价及提问，同时任何学者都可以匿名或实名地对论文进行评价。今年ICLR一共收到了4966篇论文，相比于去年3407的投稿量暴涨了 46% 。今年主题仍然涉及图神经网络，强化学习，计算机视觉等热点领域。

关键词频率

以下条形图列举了提交论文中出现频率排名前 50 的关键词，排名靠前的依旧是强化学习，深度学习，表征学习以及图神经网络等。两年的投稿趋势变化不大。

关键词频率排名变化

根据前十的关键词频率排名频率来看，基本上和去年保持一致，大火的领域依旧大火。但是可以明显看到前五名关键词的频率差距逐渐减少。有意思的是representation learning这一关键词终于又重回前三，再次为「国际学习表征会议」（ICLR）正名。graph neural network这一关键词则是掉了一名，与representation learning交换了位置，但相比于去年的频率仍然火爆。

关键词频率排名变化Top-10

接着，在Top-50的关键词频率中，统计排名变化程度最大的10个关键词如下：

可以发现，排名暴涨的是large language model 和 diffusion一词，从原本208和173挤进了前50。其中diffusion一词甚至挤进了前15，果然今年diffusion model大火也带起了新的一波研究热潮。有意思的是上一年较火的adversarial training一词暴跌28名，差点跌出前50，可能对抗训练即将淡化出历史舞台了（瞎说的）？

根据论文提交关键词，以下词云图展示了两年来各个研究领域的热门程度：

标题频率

看完关键词频率，接下来从标题词语出现的频率来观察今年的论文提交情况。由于标题可能含有较多的停用词等，因此提前作了预处理，并且排除掉了一些意义不大的词语，最终展现的结果如下所示：

从标题频率来看，两年内的趋势变化不大。

标题关键词频率排名变化

从排名变化上来看，尽管graph neural network在关键词频率排名降低了一名，但是在标题中graph却涨了一名——说明大家对图数据的研究已经不局限于图神经网络了？

标题关键词频率排名变化Top-10

同样地，在Top-50的标题关键词频率中，统计排名变化程度最大的10个标题关键词如下：

果然最火的还是 diffusion模型，以及Kaiming He带起的 mask 相关的研究。尤其是是mask一词，从原本325暴涨至45。

同样，根据标题频率绘制的词云图如下：

最后，大胆预测下今年的热点研究话题是（排名不分先后）：

diffusion model
masked autoencoders
graph neural networks
offline reinforcement Learning
transformer
federate learning

GitHub项目地址：

https://github.com/EdisonLeeeee/ICLR2023-OpenReviewData

技术交流群邀请函

△长按添加小助手

扫描二维码添加小助手微信

请备注：姓名-学校/公司-研究方向（如：小张-哈工大-对话系统）即可申请加入自然语言处理/Pytorch等技术交流群

关于我们

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名的机器学习与自然语言处理社区，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。

社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章