少数派的胜利：不被看好的人工智能大突破

2023-02-05 10:02

深度学习领域发生的很多事情，都和那场太浩湖畔的竞拍有着某种奇妙的联系。

编者按

人工智能再次成为近日全球资本市场最为热门的投资主题之一，《纽约时报》知名科技记者凯德·梅茨(Cade Metz)的《深度学习革命》精彩而真实地再现了深度学习的发展历程：一群少数派学者，在长期不被主流学术圈认可的情况下，坚信深度神经网络会改变世界，通过在黑暗中的持续探索，终于推动了人工智能技术在语音图像识别、自然语言理解和自动驾驶等诸多领域取得改变世界的突破性进展，而本文作者，地平线创始人兼首席科学家余凯则以自己的亲身参与记录下了这段经历中的秘闻与趣事。

一、一封邮件引发的秘密竞拍

《深度学习革命》这本书对我个人来说也有特别的意义，因为其开篇的前言讲述了 10 年前我亲身推动发起的一场竞拍，也是一段尘封的往事：我给杰夫·辛顿(Geoff Hinton)发出的一封电子邮件，导致了一场发生在美国加州太浩湖畔的秘密竞拍。

我在这里顺便补充一些背景，关于当初我为什么会发出邮件联系辛顿，进而扣响了深度学习产业变革的发令枪。2012 年4 月，我离开了美国硅谷的 NEC 实验室，回到北京，加入百度，领导百度新成立的多媒体部，包括语音识别团队和图像识别团队，这也是后来 IDL(Institute of Deep Learning，百度深度学习研究院)的前身。那个时候，深度学习在中国还是非常小众的研究方向，几乎没有任何研究机构关注深度学习。那年 9 月，我专门给百度首席执行官李彦宏演示了我们的一些深度学习项目的进展，他感到非常震惊，没想到现在算法进展得这么快，这改变了他的认知。我记得，他还专门给全公司的产品经理发邮件，要大家关注深度学习的最新进展。

2012年10月，杰夫·辛顿和他的两名学生在 ImageNet 图像识别比赛上拿了冠军，并且发表论文介绍了冠军算法 AlexNet。这件事对于别人可能只是个新闻，但是对我来说意义非凡！因为我曾经带领 NEC 实验室的研究团队于 2010 年拿过第一届 ImageNet 竞赛的冠军。我们采用了多层的稀释编码方法——一种非监督的卷积深度学习算法，来提取图像特征，然后用浅层的监督学习方法来做识别。当时，我们也试过监督学习的卷积神经网络，但是训练很难收敛。所以，我应该是世界上最了解辛顿团队用卷积神经网络赢得 ImageNet 竞赛这件事的重要意义的人。当时我感到兴奋不已，就像触电了一样，于是立刻写电子邮件给辛顿，迫切地表达了要和他深入合作的想法。

二、百度的第一次报价：1200 万美元

辛顿很快就回复了，说很愿意合作，但是希望百度能提供一些研究经费。我说没问题，大概需要多少钱？辛顿说，大概 100 万美元吧。我于是去找首席执行官李彦宏，对他说我希望有足够的经费支持辛顿与百度在深度学习研究方面开展合作，李彦宏非常支持。于是，我就回复辛顿说没问题，百度很愿意出研究经费。他一方面表示感谢，一方面很绅士地问我，是否介意他也去问一下谷歌的兴趣。我当时有点儿后悔，猜我可能回答得太快了，让辛顿意识到了巨大的机会。但是，我也只能大度地说不介意。

结果，他不只问了谷歌，还问了其他一些公司。大概 11 月的时候，他告诉我，还有几家公司表示要和他合作，而且他注册了一家公司，叫 DNNresearch，准备让各家竞争者以秘密竞拍的方式来做团队收购。

我心里想，辛顿真是聪明，不仅会做研究，还很有生意头脑。12 月初，我飞往美国旧金山，租了一辆车，开车去了太浩湖，参加一年一度的机器学习顶级盛会 NIPS(Neural Information Processing Systems，神经信息处理系统大会)，同时在那里与另外三家公司一起竞拍杰夫·辛顿的团队。我时刻与李彦宏以及时任百度投资副总裁的汤和松保持沟通，并且代表百度做了第一次报价——1200 万美元。

三、三家竞拍对手：谷歌、微软和？

我当时百分之百地确信另外三家竞拍对手里一定有谷歌，还有一家我猜大概率是微软，但不是百分之百确信，直到竞拍后，我在从旧金山回北京的航班上碰到微软研究院的学者邓力博士。我和邓力属于业界很早的一批意识到深度学习重要性的学者，已经是多年的朋友了。我们俩于是在飞机上聊天，拐弯抹角地想搞清楚对方公司是不是参与了竞拍。尽管我们谁也不说出实情，但是下飞机的时候，我们俩都已经百分之百确信对方公司是竞拍对手之一。

10 年来，我一直猜不到第三家竞拍对手是谁。我当时觉得可能是 IBM(国际商业机器公司)或者 Nuance(语音识别技术公司)，但是读了《深度学习革命》之后，我才恍然大悟。《深度学习革命》作者凯德·梅茨采访了参与竞拍的几乎所有人，还原了整个事件的全貌。其中一些有趣的细节，连我也是读了这本书才知道的，因为当年每个参与竞拍的人都不知道其他家的底牌。

百度的第三家竞拍对手竟然是 DeepMind！它当时还是一家成立仅两年的名不见经传的小型初创公司，竟然要出价收购“深度学习之父”杰夫·辛顿的公司，可见当年 DeepMind 的首席执行官戴密斯·哈萨比斯(Demis Hassabis)有何其远大的雄心和抱负，难怪后来 DeepMind 推出了震惊世界的 AlphaGo(阿尔法围棋)。最近，DeepMind 又在《自然》杂志上发表论文，他们用强化学习技术发现了 50 年来最快的矩阵乘法算法。

有些细节披露，让我既觉得有趣，又感慨万千，有的披露令我忍俊不禁，比如，由于担心影响拍卖价格，辛顿和他的两名学生在太浩湖哈拉斯赌场酒店 731 房间里手忙脚乱地掩盖老教授当时糟糕的健康状况，而当时我敲门的时候完全不知道；再比如，我离开时把背包落在了他们房间里，他们三人还犹豫着要不要打开我的包，看看我出价的底牌……

四、少数派学者的胜利：深度学习崛起十年

说了这么多，当年秘密竞拍的最终结果还没有告诉大家——谷歌从 4 家竞争公司中脱颖而出，以 4400 万美元的价格成功地收购了杰夫·辛顿和他的两名学生组成的研究团队。这也随后拉开了百度、谷歌、微软、DeepMind和英伟达等全球高科技公司竞相重度投资深度学习技术研发，并展开激烈的人才竞争的序幕。

而在那次事件之前，深度学习基本上还是在象牙塔里的纯学术研究，并不被众多科技公司重视。所以，这次秘密竞拍事件可以说是深度学习推动全球科技产业变革的“发令枪”。

在过去的 10 年里，深度学习改变了人工智能，也改变了世界。参与那场拍卖的大部分人今天都还活跃在科技的舞台上。2019 年，杰夫·辛顿与约书亚·本吉奥(Yoshua Bengio)、杨立昆(Yann LeCun)共同获得了计算机领域的最高奖— 图灵奖。

他的两名学生之一伊利亚·萨特斯基弗（(Ilya Sutskever)）——后来与埃隆·马斯克等人联合创立了著名的 OpenAI(人工智能研究公司)，打造了在强化学习领域几乎与 DeepMind 齐名的研究机构（OpenAI正是推出ChatGPT的机构）。

辛顿一直都非常感谢我，有一次我在加拿大温哥华的一场学术会议上碰到他，他非常热情地请我去餐馆吃饭。

代表微软参与了竞拍的邓力博士，后来成为世界上最大的对冲基金之一— Citadel(城堡投资)的首席人工智能科学家。DeepMind 后来被谷歌收购，公司开发的 AlphaGo 震惊了全世界，激起了无数人对人工智能的热情。

最让我感动的是，经历过那场竞拍的大部分人到今天都在努力奋斗着，没有人懈怠或躺在功劳簿上，包括我自己，2015 年创立的地平线今天也成为行业里有影响力的科技企业。我们这些人都对人工智能的无限可能充满着孩童般的好奇，每天享受着技术改变世界带来的乐趣和满足感，并通过技术和产品让这个世界变得更加美好。

深度学习领域发生的很多事情，包括我自己的职业生涯和创业经历，都和那场太浩湖畔的竞拍有着某种奇妙的联系。《深度学习革命》这本书并不是侧重在讲一个个研究成果的技术概念，而是在讲推动这些研究进展的背后这群人。人工智能领域最近取得的突飞猛进的进展，关键就在于有一群执着、热情和可爱的研究者。任何伟大的成就，其可贵之处都在于人的精神。

书名：《深度学习革命：从历史到未来》

作者：凯德·梅茨（Cade Metz）

译者：桂曙光

出版社：中信出版集团

文｜余凯

编辑｜喻舟

（本文内容仅供参考，投资建议不代表《巴伦周刊》倾向；市场有风险，投资须谨慎。）

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章