杨立昆脸书十年观察:管理者懂技术 ,是科技公司胜负的关键?
作为现代人工智能的先驱和 Meta 的首席人工智能科学家,杨立昆是这项技术的绝对的捍卫者。他嘲笑人们的“杞人忧天”,认为 AI 统治人类只会存在于科幻作品当中,甚至不惜与马斯克在社交媒体上对战,谴责他散步的人工智能阴谋论。
当他的导师杰弗里·辛顿(Geoffrey Hinton)屡次阐述人工智能的风险时,当李飞飞提出人工智能应该“以人为本”的时候,杨立昆处于质疑人工智能过快发展的浪潮之外,他敦促科技公司们拥抱开源人工智能,并宣称它“不应受到少数科技公司的控制”。
杨立昆并非毕业于顶级名校,他的研究方向也一度被学界所忽视,他拥抱的开源人工智能被外界所质疑,这是杨立昆的科学之路,在无人区勇敢创新,直到风口的来临。
以下内容节选自杨立昆自传《科学之路》和李飞飞自传《我看见的世界》,部分内容经过编辑:
无论是对受过训练还是没有受过训练的观察者来说,20 世纪 90 年代早期无疑都象征着一个全新时代的来临。杨立昆在手写数字识别方面的成功,为算法在现实世界中的应用提供 了无懈可击的验证。一种近乎神奇的工程范式已经到来,在这种范式中,类似人类的有机感知可以像数据库或文件服务器一样被精心设计出来。
虽然杨立昆取得了巨大成就,但机器学习的理论与实践之间却存在着偏差。尽管神经网络的潜力显而易见,但除了在识别邮政编码方面取得成功,它在其他场景中的应用很快就陷入困境。原因是多方面的。首先,尽管在白板上绘制的算法在概念上非常优雅,但就算是很简单的实现,所需的计算量也非常惊人,甚至远远超出大多数企业和政府的能力范围。此外,数字数据的可用性也是令人担忧的问题。在当时,数字数据相对稀缺,尤其是图像、视频、音频等感知数据。当时大部分数据都是碎片化的独家数据,而且存储于私人服务器中,编目不统一。无论神经网络注定要实现什么目标,很明显,此时时机还不成熟。
不久之后,“人工智能寒冬”来临,研究界失去了方向和支撑,进入了一个漫长的低迷期。大多数科学家不再谈论制造具有学习能力的智能机器之事,转而把目光转向了更容易落地的项目。
甚至有人认为“人工智能” 这个词本身过于宽泛,是一种妄想。人工智能的能力被淡化, 研究人员转向了更加狭隘的领域,如决策、模式识别和自然语处理 (旨在理解人类的语言和文字)。“人工智能”似乎注定只是科幻小说家的沃土,而不是学者的领域。就像物理学的发展史会随着发现的大幅度起伏而呈现出正弦曲线一样,人工智智能的发展也充满了起起伏伏。
杨立昆在《科学之路》中写道:从 1995 年开始,新的“寒冬” 开始降临。我们的卷积网络没有被采纳,更没有被应用于其他领域。留下的人仍然相信卷积网络的未来。为什么机器学习团队对神经网络的兴趣下降了? 这是一个谜,可能只有科学史学家和社会学家能够解开这个谜团。
神经网络基本上成了没人愿意谈及的话题,卷积网络(用于图像识别的神经网络)更是成了大家又中的笑话。他们说这项技术太复杂了,除了杨立昆没人能让它发挥作用。这简直就是胡说八道。
或许是技术屏障阻碍了它的传播。在计算方面,卷积网络需要大量的投入,但在当时,计算机不仅速度慢而且还很昂贵。同时,用于训练计算的数据集太小——当时还没有发生信息爆炸,因此,研究人员必须自行收集数据,这无疑限制了应用程序的开发。而神经网络所需的数据必须由研究人员从头到尾亲自书写,这又需要大量的时间投入。
在思考这些问题时,杨立昆慢慢形成了自己的理念,他在书中写道:
以逻辑的方式无法建构真正的智能机器,我们必须赋予机器学习的能力,让它们能以经验为基础进行自我建构。
我与我的同事兼朋友(后来的 AI 教父)杰弗里• 辛顿和约书亚•本吉奥达成共识,决定共同努力重新唤起科学界对神经网络的兴趣。我们始终相信它是行之有效的,能够大幅提高图像和语音识别的效率。
当时仍然有很多研究者认为神经网络的研究是一场闹剧。因此, 我们提出了一个新名称— — 深度学习。我把我们的三人小组称为 “ 深度学习的阴谋”。这是一个真实的笑话。因为不受重视,我们发表文章之路很不顺利。
2004 —2006 年,我们写的关于深度学习主题的文章几乎都被机器学习领域的重要会议否 决了,这些会议包括 NeurIPS 、ICML 等 。当时研究机器学习的主要方法是核方法、提升方法和贝叶斯概率法,神经网络几乎已经从可选项中消失了。
到那时为止,计算机视觉界仍然对我们持怀疑态度,比如,我们 2012 年在 CVPR 大会上 递 交的一篇结果十分完善的论文被否决了 (尽管结果不错)。文章的审稿人从未对卷积网络有过深入研究,无法理解它为什么能完美地完成工作。这件事让我想起了一个传统笑话: “当然,这在实践中效果很好,但在理论上行得通吗?”
评审们认为,在手工设计如此少的情况下,从头到尾驱动一个视觉系统没有意义。其中一个反对观点是,如果机器可以学习一切,那么科学界将无法获得对视觉问题更多的理解。幸运的是,这篇文章在几个月后被一个机器学习领域的重要会议 ICML 接受了。与此同时,业界对于深度学习的认知也在慢慢提升。大量级的图像数据库也在慢慢出现,且足以训练大型的深度神经网络。
在这一系列数据库中,最著名的当属李飞飞与普林斯顿大学的李凯教授 2007 年合作创建的 ImageNet。ImageNet 上已经包含了 2.2 万个类别的 1500 万张经过清洗、分类和标注的图片,并且这个数据库完全开源,免费提供给全球所有研究者。
在 2012 年度的“ImageNet 大型视觉识别挑战赛”上,一个名为 AlexNet 的神经算法网络在比赛中大显身手,把第二名远远甩在身后。这个神经网络的理念源于杨立昆自己的卷积神经网络算法 LeNet(呼应他的英文名 Yann LeCun)。深度学习浪潮由此开始,杨立昆的职业生涯也从这时候开始快速发展,facebook 成为了杨立昆职业生涯的转折点。
杨立昆在书中这样写道:9 月,马克• 扎克伯格给我打了电话,那是我们的第一次通话。在电话中,他向我阐述了他的计划以及他对人工智能的兴趣:“你能帮助我们吗?” 他问。我不知道该如何应对,因为我不想辞掉大学的工作,也不想从纽约搬到硅谷。
后来,我受邀访问脸书,独自与马克• 扎克伯格在他家共进了晚餐。可想而知,我们讨论的话题肯定是人工智能了! 我意识到他已经在认真地思考这个问题了,他是了解人工智能的,甚至还读了我的文章! 当对某个主题感兴趣时,他总是如此。他对后来的虚拟现实或脸书对民主的影响等主题也同样如此,这让我不太习惯。
这位年轻的首席执行官具有睿智长者一般的气质。在如此高度的责任下,几乎没有人能够腾出足够的时间来认真了解一个领域,阅读有关该主题的所有内容,更别说学习这方面的技术技能了。那天晚上,他再次问我是否愿意帮助他们。我向他解释了自己对人工智能研究实验室的设想。
进入纽约大学之前,我曾在 AT&T 负 责领导 一个工业研究实验室,时间长达 6 年。根据我的经验,这样的 一个机构必须遵守某些规则才能保持良好运作: 如果我们想要收获研究成果,就必须给予科学家思考的自由,而不是强迫他们在短期内产出应用产品 ; 需要向他们保证实验室结构的可持续性和声誉,以便他们可以在此全心投人和研究 ; 此外还应该鼓励他们发表文章。而
且我也有自己的研究准则: 研究必须是开放的,软件也必须开放源代码,并允许他人使用,包括允许他人将之用于产品和服务中。他向我保证: 脸书已经共享了自己的技术,包括其数据中心的设计。这是非常罕见的。脸书的许多领导者都来自开源领域,在成为脸书首席技术官之前,迈克• 斯科洛普夫就曾是非营利组织 Mozilla 的技术总监。
脸书与我共同建立了新的实验室,同时更重要的是,他们想通过这个机会招揽人才。尽管马克• 扎克伯格并未给我们设定目标,但我们十分清楚某些应用领域对公司的重要性,这些领域包括文本理解、翻译、图像识别 尤其是人脸面部的识别。
科学研究的突破只有迅速转化为产品,对公司才有价值。技术管理人员必须学会平衡研发潜在的影响,承担在项目过程中资源投人的风险。而对队伍庞大的工程师而言,他们必须相信自己有可能将这一突破转化为技术创新,并开发出产品,开展应用。但有时我们会被外 部质疑 。随着研发的深人,走得越远,花费的资金和资源越巨大,失败的代价也就越大。
技术部门的管理者在其间起着至关重要的作用。这正是科技巨头取得成功的最主要原因之一: 管理者本身就是工程师! 这与施乐 AT&T 等公司的老派作风相去甚远,尽管这些公司的实验室发明了现代社会的大部分技术,但是它们并没有意识到其重要性,因此时常将技术产品商业化的机会拱手让人。
2013 年,平台还未使用深度学习,但是在 2019 年,情况就完全不同了: 没有它,脸书将无法运行。
得益于人工智能的自动检测,有许多不良内容在被传播之前就被脸书删除了。对已知的宣传恐怖主义的视频或图像的检测使用了类似嵌入的方法,它们一经发布即被标记,并被添加到黑名单中,然后就会被取缔。
但人工智能无法区分表面意思和隐藏的意思,也无法理解暗喻。
2018 年, 有人在法国上传了一张古斯塔夫·库尔贝特(Gustave Courbet ) 的著名画作《人世之源》的图片。如果不知道该作品,那么完全可以将其归类为色情内容,因为图像的内容十分露骨。在这种情况下,图像自动识别系统无法识别出这是艺术作品且让其通过,尽管现在已经有工具可以处理此类异常,但仍然存在判断的困难。
目前脸书的信息识别和分拣可以分为三个级别:
基于人工智能的自动检测系统。我们正在不断地改进它们,但是正如我们刚刚所说,它们并不能完美地处理数据。
用户。他们可以举报可疑内容。这很有效,但常常是滞后的,因为内容已经在传播了,而且这种举报有时会带有偏见。
检查员。脸书目前在全球拥有约 3 万名检查员,主要由合作伙伴公司聘用。他们讲数百种不同的语言,负责对系统进行干预以确定自动系统检测的内容或用户举报的内容是否违反了现行规则。检查员的工作很困难,他们中的一些人需要审查暴行, 这是无法避免的工作任务。
困难与失败,是公共服务事业中不可避免会遇到的情况。脸书将分散在世界各地的朋友和家人联系在一起,让许多小型企业与客户建立联系进而蓬勃发展,把关心某项事业的人组织起来、团结起来。
它发出了对团结的号召,它既是一个意识的觉醒者,也是一个自爱的共振体。
“图灵奖”得主、“深度学习三巨头”之一、“卷积神经网络之父”,杨立昆的科学之路,谱写了一段关于勇气的宣言。他为了知识本身求学,而不是文凭,他用自己的经历,证明了通过激烈的考试竞争进入名校不是科学成功的唯一路径。他广泛阅读,为他科学思维的形成奠定了坚实的理论基础。他特立独行,做自己感兴趣的事情,即便那件事在短时间里不被人看好。在人工神经网络研究的低谷期,他寂寞地坚持,终于取得了举世瞩目的成就。
人工智能正在颠覆人类社会,未来机器能思考吗?杨立昆的这部著作,讲述正是人工智能在我们面前崛起——这个历史上绝无仅有的时刻发生的故事。
为答谢读者朋友们的支持,「InfoQ」为大家准备了 3 本《科学之路》纸质书籍。识别下方小程序码即可参与抽奖,开奖时间:7 月 10 日 15:00。
德国再次拥抱Linux:数万系统从windows迁出,能否避开二十年前的“坑”?
李彦宏:开源模型是智商税;互联网公司开山之举,有赞取消HRBP岗位;小红书大裁员,30%员工丢饭碗?| Q资讯
微信扫码关注该文公众号作者