Redian新闻
>
稀疏模型最新进展!马毅+LeCun强强联手:「白盒」非监督式学习|ICLR 2023

稀疏模型最新进展!马毅+LeCun强强联手:「白盒」非监督式学习|ICLR 2023

公众号新闻



  新智元报道  

编辑:LRS
【新智元导读】白盒非监督学习模型性能再进一步!



最近马毅教授和图灵奖得主Yann LeCun联手在ICLR 2023上发表了一篇论文,描述了一种极简和可解释的非监督式学习方法,不需要求助于数据增强、超参数调整或其他工程设计,就可以实现接近 SOTA SSL 方法的性能。

论文链接:https://arxiv.org/abs/2209.15261

该方法利用了稀疏流形变换,将稀疏编码、流形学习和慢特征分析(slow feature analysis)相结合。

采用单层确定性稀疏流形变换,在 MNIST 上可以达到99.3% 的 KNN top-1精度,在 CIFAR-10上可以达到81.1% 的 KNN top-1精度,在 CIFAR-100上可以达到53.2% 的 KNN top-1精度。

通过简单的灰度增强,模型在 CIFAR-10和 CIFAR-100上的精度分别达到83.2% 和57% ,这些结果显著地缩小了简单的「白盒」方法和 SOTA 方法之间的差距。

此外,文中还提供了可视化解释如何形成一个无监督的表征变换。该方法与潜在嵌入自监督方法密切相关,可以看作是最简单的 VICReg 方法。


尽管在我们简单的建设性模型和 SOTA 方法之间仍然存在很小的性能差距,但有证据表明,这是一个有希望的方向,可以实现一个原则性的、白盒式的非监督式学习。

文章第一作者Yubei Chen是纽约大学数据科学中心(CDS)和Meta基础人工智能研究(FAIR)的博士后助理,导师为Yann LeCun教授,博士毕业于加州大学伯克利分校的Redwood Center理论神经科学和伯克利人工智能研究所(BAIR),本科毕业于清华大学。


主要研究方向研究为计算神经科学学习和深度无监督(自监督)学习的交叉,研究结果增强了对大脑和机器无监督表征学习的计算原理的理解,并重塑对自然信号统计的认识。

马毅教授于1995年获得清华大学自动化与应用数学双学士学位,并于1997年获加州大学伯克利分校EECS硕士学位,2000年获数学硕士学位与EECS博士学位。目前是加州大学伯克利分校电子工程与计算机科学系教授,同时也是IEEE Fellow,ACM Fellow,SIAM Fellow。


Yann LeCun最著名的工作是在光学字符识别和计算机视觉上使用卷积神经网络(CNN),也被称为卷积网络之父;2019年他同Bengio以及Hinton共同获得计算机学界最高奖项图灵奖。


从最简单的无监督学习开始


在过去的几年里,无监督表征学习取得了巨大的进展,并且有望在数据驱动的机器学习中提供强大的可扩展性。

不过什么是学习到的表征,以及它究竟是如何以无监督的方式形成的,这些问题仍然不清楚;此外,是否存在一套支撑所有这些无监督表征的共同原则仍不清楚。

许多研究者已经意识到提高模型理解力的重要性,并采取了一些开创性的措施,试图简化SOTA方法,建立与经典方法之间的联系,统一不同的方法,使表征可视化,并从理论角度分析这些方法,并希望能够开发出一种不同的计算理论:使我们能够基于第一原理从数据中建立简单的、完全可以解释的「白盒」模型,该理论也可以为理解人脑中无监督学习的原则提供指导。

在这项工作中,研究人员又朝着这个目标迈出了一小步,试图建立一个最简单的 「白盒」无监督学习模型,并且不需要深度网络、projection heads、数据增强或其他各种工程设计。


文中通过利用两个经典的无监督学习原则,即稀疏性(sparsity)和频谱嵌入(spectral embedding),建立了一个两层模型,在几个标准数据集上取得了非显著的基准结果。


实验结果表明,基于稀疏流形变换(sparse manifold transform)的两层模型,与latent-embedding自监督方法具有相同的objective,并且在没有任何数据增强的情况下,在MNIST上取得了99.3%的KNN最高1级准确率,在CIFAR-10上取得了81.1%的KNN最高1级准确率,在CIFAR-100上取得了53.2%的准确率。


通过简单的灰度增强,进一步在CIFAR-10上实现了83.2%的KNN top-1精度,在CIFAR-100上实现了57%的KNN top-1精度。

这些结果为缩小「白盒」模型和SOTA自监督(SSL)模型之间的差距迈出了重要一步,虽然差距仍然很明显,但研究人员认为进一步缩小差距有可能对无监督表征的学习获得更深入的理解,这也是通往该理论实用化的一条有前景的研究路线。

三个基本问题


什么是无监督(自监督)的re-presentation

从本质上讲,原始信号的任何非同一性转换(non-identity transformation)都可以被称为表征(re-presentation),不过学术界更感兴趣的是那些有用的转换。

无监督re-presentation学习的一个宏观目标是找到一个函数,将原始数据转换到一个新的空间,使「相似」的东西被放在更接近的地方;同时,新的空间不应该是一个collapsed且trivial的,也就是说,必须保留数据的几何或随机结构。

如果这一目标得以实现,那么「不相似」的内容自然会在表示空间中被放置得很远。

相似性(similarity)从何而来?

相似性主要来自三个经典的想法:1)时序共现,2)空间共现;和3)原始信号空间中的局部相邻(local neighborhoods)。

当基础结构为几何结构时,这些想法在相当程度上是重叠的;但当结构为随机结构时,它们在概念上也会有所不同,下图展现了流形结构(manifold structure)和随机共现结构(stochastic co-occurrence structure.)之间的区别。


利用局部性,相关工作提出了两种无监督的学习方法:流形学习和共现统计建模,这些想法很多都达到了谱系分解的表述或密切相关的矩阵分解表述。

流形学习的理念是,只有原始信号空间中的局部邻域才是可信的,通过综合考虑所有的局部邻域,就会出现全局几何,即「全局思考,局部适配」(think globally, fit locally)。

相比之下,共现统计建模遵循一种概率理念,因为有些结构不能用连续流形来建模,所以它也是对流形理念的补充。

一个最明显的例子来自于自然语言,其中的原始数据基本不会来自于平滑的几何,比如在单词嵌入中,「西雅图」和「达拉斯」的嵌入可能很相似,尽管它们并没有频繁共现,其根本原因是它们有类似的上下文模式。

概率和流形的观点对于理解「相似性」是相互补充的 ,当有了相似性的定义后,就可以构造一个转换,使得相似的概念离得更近。

本文如何建立表征转换?基本原则:稀疏性和低秩(low rank)

大体上来说,可以用稀疏性来处理数据空间中的局部性和分解,以建立support;然后用低频函数构建表征变换,将相似的值分配给support上的相似点。
整个过程也可以称为稀疏流形变换(sparse manifold transform)。

参考资料:
https://arxiv.org/abs/2209.15261




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
​ICLR 2023 | 用于类别不平衡图表示学习的统一数据模型稀疏性ECCV 2022 | 半监督学习的隐秘角落: 无监督的数据选择性标注 USLICLR 2023 | 解决VAE表示学习问题,北海道大学提出新型生成模型GWAE瞎聊聊普京可能的下场东方证券&36氪:强强联手打造双碳领域创业创新IP|看见强强联合!澳新知名品牌宣布与凤凰队梦幻合作,卓越营养助力球员底气全开!​ICLR 2023 | LightGCL: 简单且高效的图对比学习推荐系统军旅故事原创系列(10)大操场的电影情结国际要闻简报,轻松了解天下事(03两大减肥食谱“强强联手”,掉秤速度加快?专家建议这样吃!纽约两大华人医疗集团合并 百康仁德强强联手 争取3至5年上市ICML征稿禁止使用大型语言模型,LeCun转发:中小型模型可以用吗?强强联合的生信高分套路!不用做实验能发10分+,今年代表作就靠它了!ICLR 2023 | 基于视觉语言预训练模型的医疗图像小样本学习及零样本推理性能研究2023 春 祝姐妹们周末快乐!大本哥+Dunkin强强联手,首登超级碗!好评如潮强强联合的生信分析套路!实操分析3篇单细胞文献:模型建构/实验验证/分子分型最新出炉!ICLR 2023强化学习领域18篇论文盘点ICML 2023禁止使用大型语言模型写论文!LeCun转发:中小型模型可以用吗?ICLR 2023 | MocoSFL: 低成本跨用户联邦自监督学习国际要闻简报,轻松了解天下事(03转:2023 回国探亲(5)英伟达助力富士康造车,芯片与果链两大巨头强强联合!GPT-4发布后,其他大模型怎么办?Yann LeCun:增强语言模型或许是条路​获知名Tier1与车企量产合作定点!映驰、地平线如何强强联手?华盛沃尔玛强强联手结硕果,开年又有四家合作店新开张!ICLR 2023 | PromptPG:当强化学习遇见大规模语言模型2个老海归与2个海不归百篇论文纵览大型语言模型最新研究进展我居然第一次吃这么好吃的豌杂面?GAN强势归来?英伟达耗费64个A100训练StyleGAN-T,优于扩散模型重量级比赛!哈佛校报与Crimson强强联手,全球文书比赛火热报名中自监督为何有效?243页普林斯顿博士论文「理解自监督表征学习」,全面阐述对比学习、语言模型和自我预测三类方法Morror Art 网易云音乐强强联手~把音箱玩出了新高度!首次发现!数据异构影响联邦学习模型,关键在于表征维度坍缩 | ICLR 2023国家地理和大英百科“强强联手”,这套少儿科普百科太值得入手了!Eruope 2023教育,其实是整个社会里最落后的行业ChatGPT爆火,LeCun心态崩了!称大语言模型是邪路,Meta模型3天惨遭下线是她:比尔·盖茨新恋情曝光!长相酷似前妻,依旧是“强强联姻”
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。