Redian新闻
>
LeCun 70页长篇巨作!自监督学习「葵花宝典」,手把手教你学会

LeCun 70页长篇巨作!自监督学习「葵花宝典」,手把手教你学会

公众号新闻



  新智元报道  

编辑:编辑部
【新智元导读】自监督学习入门指南,LeCun 70页论文都讲透了。

一本自监督学习全套攻略来了!

今天,Yann LeCun、田渊栋等机构的研究者共同发表了一篇70页论文「自监督学习的食谱」。

LeCun称,你曾经想知道,却又不敢问的自监督学习内容全在这儿了。

先来看看这篇论文阵容有多强大,除了Meta AI的研究员,还汇集了纽约大学、马里兰大学、加利福尼亚大学戴维斯分校、蒙特利尔大学等6所大学研究人员的智慧。

可想而知,这篇论文含金量有多足了。

论文地址:https://arxiv.org/pdf/2304.12210.pdf

自监督学习(SSL),被称为人工智能的暗物质,是推进机器学习发展的一条有希望的道路。

然而,就像烹饪一样,SSL是一门精致的艺术,有很高的门槛。

尽管人们对许多组件非常熟悉,但成功地训练一个SSL,需要做出从假设任务,到训练超参数等一系列令人眼花缭乱的选择。

这篇最新论文的目标就是,降低进入SSL研究的门槛,像烹饪书方式一样提供最新的「SSL食谱」。

Meta的研究科学家田渊栋表示,如果你想做SSL研究,就来看看这本书吧。

70页巨长论文看似让人劝退,但其实参考文献就占了26页。

SSL烹饪指南


这篇论文究竟讲了什么内容,先来看看满屏糊脸的目录。

正如论文作者所称,要成功烹饪,你必须首先学习基本的技巧:切菜、炒菜等。

第一部分主要介绍什么是SSL,重要性,以及写这本「食谱」的主要原因。

第二部分讲了SSL的家族和来源,给出了常用词汇,从自我监督学习的基本技巧开始手把手教你。

其中包括:
-SSL的起源
-深度度量学习家族:SimCLR/NNCLR/MeanSHIFT/SCL
-自蒸馏家族:BYOL/SimSIAM/DINO
-典型相关分析家族:VICReg/BarlowTwins/SWAV/W-MSE
-掩码图像建模
-自监督学习的理论统一:SSL理论研究;表征的维度坍缩
-预训练数据

方法有了,接下来,厨师必须学会熟练运用这些技巧,做出一道美味的菜肴。

这不仅需要学习现有的食谱,还要会自己组合食材,并会评估这道菜。

因此,第三部分就是重中之重了。

这部分主要介绍了常见的训练方法,包括超参数的选择,如何使用组建,以及评估方法。

-数据增强的作用:multi-crop的作用
-projector的作用
-SSL的统一先验还是SSL在不平衡数据上的失败
-教师学生架构具体策略:移除平均教师的作用;projector在自标记SSL中的作用
-标准超参数的作用:
小批量大小的作用;学习率(调度器)和优化器的作用;重量衰减的作用;Transformer注意事项
-高性能掩码图像建模技术
-评估SSL模型:带标签评估;无标签评估;超越分类;视觉评估
-提速训练:分布式训练;用FFCV和其他加速训练更快;加速视觉Transformer的训练
第四部分:将自监督学习扩展到图像和分类之外
-其他数据域的策略
-将多个模式纳入SSL训练
-用本地化方法构建密集预测任务的特征提取器

在此,作者还分享了前沿的研究人员关于常见训练配置,以及陷阱的实用技巧。

最后,文章总结道,自监督学习(SSL)为提高机器智能建立了一个新的范式。

尽管取得了许多成功,但SSL仍然是一个令人生畏的领域,其中包含了许多复杂的实现方法。

由于研究的快速发展和SSL方法的广泛应用,要了解这个领域仍然具有挑战性。

这对于那些最近加入该领域的研究者和从业者来说是一个问题,从而为SSL研究和部署创造了很高的进入门槛。

作者希望这个实用指南能够帮助降低这些壁垒,使任何背景的好奇研究者都能探索各种方法,了解各种调整参数的作用,并获得在SSL领域取得成功所需的技能。

AI暗物质


2021年,LeCun曾在自家博客上发文首次提出,自监督学习是「人工智能暗物质」这一概念。

一直以来,人工智能系统在标记数据中学习取得了很大的进展。然而,这些模型仅在训练专家模型时表现得非常好,应用非常有限。

实际上,给世界上所有东西贴上标签是无法穷尽的。这就不得不另辟蹊径,许多研究者发现,监督学习是构建更智能「多面手」模型更有力的方法。

如果AI系统能够收集到比训练数据集更深入、更细致的现实理解,最终能够实现接近人类智能水平的智能。

我们认为,自监督学习是在人工智能系统中构建这种背景知识和近似常识形式的最有前途的方法之一。

SSL从数据本身获得监督信号,通常利用数据中的底层结构。自监督学习的一般技术是预测任何未观察到的,或隐藏的输入部分 (或属性) 。

此外,还可以预测,视频中过去或未来的帧(隐藏数据)和当前的帧(观察数据)。

由于SSL使用的是数据本身的结构,所以它可以实现跨模式的能力,比如(视频、音频),以及跨大型数据集利用各种监督信号。

在计算机视觉领域,自监督学习通过在10亿张图像上训练的SEER等模型,推动了数据规模的扩大。

SSL计算机视觉方法已经能够匹配,或在某些情况下超过模型训练的标记数据,甚至也包括竞争基准ImageNet。

此外,自监督学习也被成功地应用在其他形式,如视频、音频和时间序列。

自监督学习定义了一个基于未标记输入的前提任务,以产生描述性和可理解的表示。

在自然语言中,一个常见的SSL目标是在文本中掩盖一个词去预测周围的词。这种目标预测是为了鼓励模型来捕捉文本和词语之间的关系,并且不需要任何标签。

相同的SSL模型表示可以在一系列下游任务中使用,比如翻译文本、汇总、甚至生成文本等任务。

可见,SSL使人工智能系统能够从巨量的数据中学习,这对于识别和理解更微妙、更不常见的世界表示模式很重要。

网友热评


一位网友对自己博士要做的领域产生疑问,向LeCun求助:

「还值得攻读人工智能博士学位吗?我想做医学领域的多模态诊断模型。但随着最近新模型的涌现,我担心会被大公司悄悄地超越,或者因没有做出任何重大贡献而浪费时间。」

在LeCun看来,

1. 大多数好的想法仍然来自学术界。你只管做自己的。没有必要去超越一个强大的基准。

2. 做的研究远离工业界占主导地位的大规模应用就可以了

3. 你认为谁在工业界做人工智能研发?依旧是博士们。

我认为 「暗物质g」代表了本世纪MI/GI的主流方法,SSL是其中的一个先驱。其背后有着严肃的科学,这是Brain Cantwell Smith在他2019年的书中论证的一个核心主题。

从LLaMa的开源,再到LeCun自剑盾学习攻略,Meta在开源上做了很多。

网友称赞,这段时间,Meta在生成式人工智能和自我监督学习方面做出了巨大贡献。对SSL总结工作非常好,非常感激。

参考资料:
https://arxiv.org/abs/2304.12210
https://twitter.com/ylecun/status/1650798206283051009



微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
2023新版B1/B2 美国签证更新电子系统说明!手把手教你搞定!手把手教你搭建属于自己的服务器油烟机都不用开!肉这样蒸着吃比炒更香,手把手教你5种家常做法LeCun、田渊栋参与撰写,70页「自监督学习」大全来了“感谢女儿,手把手教我离婚”手把手教你如何检查阿联酋签证的有效日期!阿联酋签证如何办理?LeCun世界模型出场!Meta震撼发布首个「类人」模型,理解世界后补全半张图,自监督学习众望所归3月1日开始报税了,手把手教你在新加坡如何交税小扎亲自官宣Meta视觉大模型!自监督学习无需微调,多任务效果超OpenCLIP丨开源军旅故事原创系列(44)背黑锅 戴绿帽【Zoom活动】EducationUSA 线上讲座:互动游戏,手把手教你如何选择美国大学,4月8日上午10:00-11:00建议收藏 | 手把手教你查询移民签证状态!Yann LeCun团队新研究成果:对自监督学习逆向工程,原来聚类是这样实现的美国退休金账户(IRA)利率5.1%了还不冲?手把手教你躺着拿钱泼水节来了!泰国最盛大节日机酒价格不增反降?手把手教你立省2000块!留学生到底怎么报税?超全加拿大报税指南,手把手教你搞定报税季!《卖给洋人》和华人华侨的区别爆!IKEA赔款2425万美金,手把手教你理赔;美国十大生活最贵城市,加州占三席!限时免费!吴恩达新课三连发,手把手教你用ChatGPT API构建应用LeCun吴恩达开直播,疾呼GPT-5不能停!LeCun:干脆管制凤头鹦鹉6个月多模态如何自监督?爱丁堡等最新「自监督多模态学习」综述:目标函数、数据对齐和模型架构见者有份!Meta$7.25亿赔款,手把手教你领钱直播课|仅46个席位!手把手教你2周时间,创建产品经理作品集,成为Offer King!保姆级祛痘攻略!手把手教你终结痘痘ChatGPT 是男的LeCun世界模型首项研究来了:自监督视觉,像人一样学习和推理,已开源炸翻AI和生化环材圈!GPT-4学会自己搞科研,手把手教人类做实验美国入境档案--贝聿铭、蔡葵和张之江,1935年5分钟搞定春日编发,手把手教会!【英伦看法】手把手教你把商品进口至英国!CVPR 2023 | LeCun世界模型首个研究!自监督视觉像人一样学习和推理!星坛传奇之 — 葵花宝典不花一毛钱,手把手教你专柜千元换头术!就是这么牛!纽约洛克菲勒,记忆依旧最强留学生报税攻略!手把手教你如何获享最多退税ICLR 2023 | MocoSFL: 低成本跨用户联邦自监督学习
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。