Redian新闻
>
北大获奖,清华、人大等提名,ICLR 2023杰出论文奖出炉

北大获奖,清华、人大等提名,ICLR 2023杰出论文奖出炉

公众号新闻
机器之心报道
机器之心编辑部

昨日,ICLR 2023 获奖论文公布!来自北京大学的张博航、罗胜杰、王立威、贺笛获得杰出论文奖,清华大学孔祥哲、中国人民大学高瓴人工智能学院黄文炳、清华大学刘洋获得杰出论文奖提名。

ICLR 全称为国际学习表征会议(International Conference on Learning Representations),今年将举办的是第十一届,将于 5 月 1 日至 5 日在卢旺达首都基加利线下举办。

在机器学习社区中,ICLR 是较为「年轻」的顶级学术会议,它由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 牵头举办,2013 年才刚刚举办第一届。不过 ICLR 很快就获得了学术研究者们的广泛认可,被认为是深度学习的顶级会议。在 Google Scholar 的学术会议 / 杂志排名中,ICLR 目前排名第十位,要高于 NeurIPS。

据今年 2 月份公布的接收数据,在今年的接收统计中, ICLR 共接收近 5000 篇投稿,整体接收率为 31.8%,接近于去年的 32.26%。今年还有一个变化是接收论文的 tag 会有两个,一个是论文类型(oral、spotlight、poster),另一个是 presentation 的方式。

位于 top5% 论文内容涉及 Transformer、in-context learning、扩散模型等内容。

在近日公布的获奖论文中,共有 4 篇论文获得杰出论文奖,5 篇论文获得杰出论文奖提名。其中,来自北京大学的张博航、罗胜杰、王立威,、贺笛共同获得一篇杰出论文奖,清华大学孔祥哲、中国人民大学高瓴人工智能学院黄文炳、清华大学刘洋共同获得一篇杰出论文奖提名。

杰出论文奖

  • 论文 1:Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching

  • 作者:Donggyun Kim, Jinwoo Kim, Seongwoong Cho, Chong Luo, Seunghoon Hong


  • 机构:KAIST、微软亚研


  • 论文链接:https://openreview.net/pdf?id=88nT0j5jAn



该论文提出了一种用于密集预测任务的少样本学习 pipeline,密集预测任务包括语义分割、深度估计、边缘检测和关键点检测等。该研究提出了一个简单的统一模型,可以处理所有密集预测任务,并包含多项关键创新。该研究将激发密集预测的进一步发展,所提方法 —— 例如视觉 token 匹配、情景(episodic)元学习 —— 可以用于相关的多任务学习问题。

  • 论文 2:Rethinking the Expressive Power of GNNs via Graph Biconnectivity
  • 作者:张博航, 罗胜杰, 王立威, 贺笛
  • 机构:北京大学
  • 论文链接:https://openreview.net/pdf?id=r9hNv76KoT3

该论文基于双连通性(biconnectivity)提出一种 GNN 表达性度量新指标。具体来说,该研究提出了一种利用节点间距离的新算法,并在合成数据和真实数据中进行了演示。该研究表明:双连通性问题在理论和实践中都有着广泛的潜在应用。 

  • 论文 3:DreamFusion: Text-to-3D using 2D Diffusion
  • 作者:Ben Poole, Ajay Jain, Jonathan T. Barron, Ben Mildenhall
  • 机构:谷歌研究院、加州大学伯克利分校
  • 论文链接:https://openreview.net/pdf?id=FjNys5c7VyY

该论文提出了一种基于文本生成 3D 模型的有效方法,而无需 3D 模型作为训练数据。该论文的关键思想是利用本生成图像的扩散模型,并通过将误差信号反向传播到 3D 模型的神经辐射场来生成 3D 模型。该方法是 SOTA 图像生成和 3D 建模的巧妙组合,在实践中效果极好,并将启发各种后续工作,包括基于文本的 3D 视频生成。
 
  • 论文 4:Emergence of Maps in the Memories of Blind Navigation Agents
  • 作者:Erik Wijmans, Manolis Savva, Irfan Essa, Stefan Lee, Ari S. Morcos, Dhruv Batra
  • 机构:佐治亚理工学院、Meta AI 等
  • 论文链接:https://openreview.net/pdf?id=lTt4KjHSsyl

该论文基于认知科学和机器学习的跨学科方法,让仅具备自我运动(egomotion)(不具备其他任何感知)的导航智能体学得有效表征,并实现有效导航。该研究对表征学习具有重要意义。

杰出论文奖提名

除了 4 篇杰出论文,ICLR 2023 还有 5 篇论文获得杰出论文奖提名。

  • 论文 1:Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning
  • 作者:Zeyuan Allen-Zhu, Yuanzhi Li
  • 机构:Meta、MBZUAI
  • 论文链接:https://openreview.net/pdf?id=Uuf2q9TfXGA

该论文试图从一个新的理论视角来理解知识蒸馏。作者认为对于自然的多视图结构,没有蒸馏的情况下神经网络只能训练为仅依赖于部分特征,而蒸馏可以缓解这个问题。这篇论文提供了证明这一点的简化示例,有助于人们更好地理解知识蒸馏的有效性。

  • 论文 2:Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning
  • 作者:Anton Bakhtin, David J Wu, Adam Lerer, Jonathan Gray, Athul Paul Jacob, Gabriele Farina, Alexander H Miller, Noam Brown
  • 机构:Meta AI、MIT
  • 论文链接:https://openreview.net/pdf?id=F61FwJTZhb

该论文的主题是多回合、多阶段、多人游戏的算法开发,提出使用一种类似于自我对弈(self-play)的策略来找到游戏均衡(equilibrium)状态,并在一个受人类玩家欢迎的复杂多人棋盘游戏上测试了该算法。其中,将寻求平衡的策略与行为克隆相结合。

  • 论文 3:On the duality between contrastive and non-contrastive self-supervised learning
  • 作者:Quentin Garrido, Yubei Chen, Adrien Bardes, Laurent Najman, Yann LeCun
  • 机构:Meta AI 等
  • 论文链接:https://openreview.net/pdf?id=kDEL91Dufpa

在自监督学习领域,各种方法似乎没有任何共同点,但在实践中却表现相似。该论文对各种自监督学习方法进行了分析探究,发现了它们的共同点。该论文展开研究了一些流行的自监督学习方法,证明其提出的理论能用于实际方法。这篇论文对自监督学习领域具有重要意义。

  • 论文 4:Conditional Antibody Design as 3D Equivariant Graph Translation
  • 作者:孔祥哲,黄文炳,刘洋
  • 机构:清华大学计算机系,清华大学智能产业研究院,中国人民大学高瓴人工智能学院,北京智源人工智能研究院
  • 论文链接:https://openreview.net/pdf?id=LFHFQbjxIiP

抗体设计是药物研发的一个重要问题,具有重要的应用前景。本文提出一种基于等变图神经网络的抗体设计方法 MEAN,在给定抗原、抗体重链和轻链的条件下,实现了抗体 CDRs 的设计和优化。与以往方法不同,MEAN 不但考虑了更全的「上下文信息」,而且能直接生成抗体 CDRs 的 1D 氨基酸序列及其 3D 构象,具有更高效率。在多个数据集的完整实验上,MEAN 显著优于已有方法。论文有望为后续湿实验研究提供一种高效的算法工具。

  • 论文 5:Disentanglement with Biological Constraints: A Theory of Functional Cell Types
  • 作者:James C. R. Whittington, Will Dorrell, Surya Ganguli, Timothy Behrens
  • 机构:斯坦福大学、牛津大学、UCL
  • 论文链接:https://openreview.net/pdf?id=9Z_GfhZnGH

该研究受生物学启发,揭示了机器学习和神经科学之间有趣的联系,并从数学上证明机器学习中的约束会导致线性网络解缠结(disentanglement)。该研究还通过实验表明,相同的约束对于非线性情况也是有效的。总的来说,这项研究从数学的角度对单个神经元和大脑结构给出了更深层的理解。

参考链接:https://blog.iclr.cc/2023/03/21/announcing-the-iclr-2023-outstanding-paper-award-recipients/

探寻隐私计算最新行业技术,「首届隐语开源社区开放日」报名启程


春暖花开之际,诚邀广大技术开发者&产业用户相聚活动现场,体验数智时代的隐私计算生态建设之旅,一站构建隐私计算产业体系知识:

  • 隐私计算领域焦点之性

  • 分布式计算系统的短板与升级策略

  • 隐私计算跨平台互联互通

  • 隐语开源框架金融行业实战经验

3月29日,北京·798机遇空间,隐语开源社区开放日,期待线下面基。

点击阅读原文,立即报名。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
清华、北大保送双校录取Jerry-我感觉最可怕的必胜心的是“优秀且努力”人比马对暗示更驯服?2023 CS Rankings全球排名出炉!CMU稳稳第一,清华第二,这5所并列美国第四7 Papers | AAAI 2023杰出论文奖;AI生成文本检测方法综述​ICLR 2023 | LightGCL: 简单且高效的图对比学习推荐系统7 Papers & Radios | ICLR 2023杰出论文奖;微软GPT-4完整测评ICLR 2023 | 清华大学龙明盛组提出通用时间序列神经网络骨干—TimesNet高效利用多级用户意图,港科大、北大等提出会话推荐新模型Atten-Mixer彻底火了!清华、北大免费,政府买单!ICLR 2023邀你加入精选论文讲解直播间ICLR 2023 | 高分论文!上海交大提出H2RBox:旋转目标检测新网络Best Asian History Programs (Ranked in 2021)单块V100训练模型提速72倍!尤洋团队新成果获AAAI 2023杰出论文奖兔年吉祥北大等国内机构获杰出学生论文,AAAI 2023各大奖项出炉​刘震云说:莫言能获奖,阎连科也能获奖闲说跨年在墨西哥城 (3) - 宪法广场周边能说会唱,AudioGPT惊艳亮相!浙大、北大、CMU等提出全新音频理解与生成系统ICLR 2023杰出论文奖得主分享:用于密集预测任务的通用小样本学习器ICLR 2023论文列表公布,有机构一口气中20多篇ChatGPT团队:3清华、1北大、1华科2023年世界顶尖科学家协会奖正式开启全球提名,11月将在上海举行颁奖典礼首个基于交互式网页搜索的中文问答开源框架,清华、人大、腾讯联合发布WebCPM最新出炉!ICLR 2023强化学习领域18篇论文盘点大模型工具学习系统性综述+开源工具平台,清华、人大、北邮、UIUC、NYU、CMU等40多位研究者联合发布2023年奥斯卡完整提名名单出炉!杨紫琼主演的《瞬息全宇宙》获11项提名成最大赢家!AI驱动运筹优化「光刻机」!中科大等提出分层序列模型,大幅提升数学规划求解效率|ICLR 2023ICLR 2023杰出论文奖得主分享:适配任意密集预测任务的通用小样本学习器ICLR2023 | 论文列表公布,5000 篇投稿,整体接收率为 31.8%基于冷冻电镜解析发现,首个最清晰的LRP2蛋白结构亮相Cell,有望为阿尔茨海默病等提供新靶点2023奥斯卡最佳纪录片提名,用生命去追逐火山的一对爱人时序分析五边形战士!清华提出TimesNet:预测、填补、分类、检测全面领先|ICLR 20232023春节清华13篇、北大6篇!ISSCC 2023论文收录量,中国第一「诺奖风向标」2023年斯隆奖出炉:韩松、李远志等清华校友获奖
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。