ICLR 2024 杰出论文奖揭晓！两篇国内论文获荣誉提名

夕小瑶科技说 原创
作者 | Zicy
国际学习表征会议(International Conference on Learning Representations，ICLR) ，于5月7日至11日在奥地利维也纳展览会议中心举行。

ICLR与NLPS（Conference and Workshop on Neural Information Processing Systems，神经信息处理系统大会），ICML并称为机器学习三大顶会。

ICLR深度学习巨头Bengio和LeCun牵头举办，2013年才刚刚举办第一届，今年刚刚举办第12届。相比于今年即将举办的的第38届NLPS和第41届ICML，ICLR最为年轻，但现在ICLR得到了学术研究者们的广泛认可，在谷歌出版物排名中，ICLR位列第十。

其中，ICLR在计算机领域位列第3，仅次于第4名的CVPR和第9名的NIPS。

5月6号官网放出了ICLR 2024 获奖论文名单。

本届ICLR共收到了7262篇提交论文，录用2260篇，录用率31.1%，与去年基本持平（31.8%），其中367篇Spotlights，占比16.2%；86篇Oral，占比3.8%。

其中，5篇论文获得杰出论文奖，11篇论文获荣誉提名奖。值得一提的是，有两篇荣誉提名奖来自国内，分别来自北京大学和香港城市大学。

5篇杰出论文奖

1、Generalization in diffusion models arises from geometry-adaptive harmonic representations

https://openreview.net/pdf?id=ANvmVS2Yr0

所属机构：纽约大学、法兰西公学院 这篇论文通过建立图像扩散模型的几何自适应谐波表示，深入分析了模型在泛化和记忆之间的转换机制。作者从架构归纳偏差的角度出发，为视觉生成模型的理解提供了关键洞见，极大地推动了未来研究的方向。

2、Learning Interactive Real-World Simulators

https://openreview.net/forum?id=sFyTZEqmUY

所属机构：UC 伯克利、Google DeepMind、MIT、阿尔伯塔大学 本文通过创建UniSim模拟器，展示了如何将多源数据集成到一个统一的视觉和语言模型中，以模拟复杂的人机交互。这项工作不仅是机器人基础模型研究的重大进展，也为构建通用交互模拟器迈出了重要一步。

3、Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors

https://openreview.net/forum?id=PdaPky8MUn

所属机构：特拉维夫大学、IBM 该研究发现，从头开始训练长序列模型会低估其性能，而采用预训练和微调的方法可以显著提升结果。这篇论文在系统性和简洁性上表现出色，为未来的序列模型研究提供了重要的方法论指导。

4、Protein Discovery with Discrete Walk-Jump Sampling

https://openreview.net/forum?id=zMPHKOmQNb

所属机构：基因泰克、纽约大学 本文介绍了一种新的针对离散蛋白质序列数据的建模方法，并通过大量湿实验室实验验证了该方法的有效性。这项工作不仅推动了抗体设计的研究，也对蛋白质序列生成模型的实际应用有着重要意义。

5、Vision Transformers Need Registers

https://openreview.net/forum?id=2dnO3LLiJ1

机构：Meta 研究人员在分析Vision Transformers时发现了特征图中的人工痕迹，并提出了利用额外的register tokens来解决这一问题的创新方法。这项工作不仅增强了模型的性能，还对其他领域的应用产生了影响，展示了科学研究从识别问题到提出解决方案的完整流程。

11篇荣誉提名奖

1、Amortizing intractable inference in large language models

https://openreview.net/forum?id=Ouj6p4ca60

所属机构：蒙特利尔大学、牛津大学

2、Approximating Nash Equilibria in Normal-Form Games via Stochastic Optimization

https://openreview.net/forum?id=cc8h3I3V4E

所属机构：DeepMind

3、Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness

https://openreview.net/forum?id=HSKaGOi7Ar

所属机构：北京大学、北京智源人工智能研究院

4、Flow Matching on General Geometries

https://openreview.net/forum?id=g7ohDlTITL

所属机构：Meta

5、Is ImageNet worth 1 video? Learning strong image encoders from 1 long unlabelled video

https://openreview.net/forum?id=Yen1lGns2o

所属机构：中佛罗里达大学、 Google DeepMind、阿姆斯特丹大学等

6、Meta Continual Learning Revisited: Implicitly Enhancing Online Hessian Approximation via Variance Reduction

https://openreview.net/forum?id=TpD2aG1h0D

所属机构：香港城市大学、腾讯 AI 实验室、西安交通大学等

7、Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs

https://openreview.net/forum?id=uNrFpDPMyo

所属机构：伊利诺伊大学厄巴纳 - 香槟分校、微软

8、Proving Test Set Contamination in Black-Box Language Models

https://openreview.net/forum?id=KS8mIvetg2

所属机构：斯坦福大学、哥伦比亚大学

9、Robust agents learn causal world models

https://openreview.net/forum?id=pOoKI3ouv1

所属机构：Google DeepMind

10、The mechanistic basis of data dependence and abrupt learning in an in-context classification task

https://openreview.net/forum?id=aN4Jf6Cx69

所属机构：普林斯顿大学、哈佛大学等

11、Towards a statistical theory of data selection under weak supervision

https://openreview.net/forum?id=HhfcNgQn6p

所属机构：Granica Computing

参考资料