又一 AI 大神杀入大模型领域!亚马逊首席科学家李沐被曝离职,与导师搭档创业
日前,据媒体“亲爱的数据”报道,亚马逊首席科学家、“AI 大神”李沐已离职,并加入了导师 Alex Smola 的创业项目。
据悉,今年 2 月,“参数服务器之父” Alex Smol 教授从亚马逊云科技(AWS)离职,创办了一家名为 Boson.ai 的人工智能公司。
同月,Alex Smol 教授在领英宣布成立了新公司并担任 CEO。“我很高兴地告诉大家,我将在 Boson.ai 开始担任首席执行官兼联合创始人的新职务!” 。
Alex Smol 称,公司的新目标是“scalable foundation models”(可扩展基础模型)。这被认为是,最近大火的人工智能聊天程序 ChatGPT 的挑战者。
Smola 的领英资料显示:“我们正在做一件大事……请继续关注”、“如果你对可扩展的基础模型感兴趣,请联系我”。
关于 Boson.ai,目前网上的资料还很少。Boson.ai 的官网还在建设中,目前仅显示:适用于所有人的大模型,并配文:“我们正在做一件大事。敬请期待!”
目前,李沐的领英履历还没有变化,李沐也并未官宣。
不过,李沐已经出现在了 Boson.ai 的 GitHub 项目主页中,据悉,Boson.ai 的 GitHub 仓库页面由李沐亲自编写。
“亲爱的数据”引用一位业内人士的消息称,李沐和 Alex Smol 是“一起创业。”更进一步的消息是:“融资也很顺利。”
另据雷锋网报道,此前两个月,雷峰网与接近李沐师徒二人的 AI 行业人士交谈,获悉二人有离职打算。但直到今天,二人动态才最终确定。
值得一提的是,最近几个月,随着 ChatGPT 在全球爆火,AI 大模型领域掀起创业热潮。
在国内,已有多位 AI 领域大牛宣布入局大模型领域。不久前,智能语音创业公司出门问问创始人李志飞宣布在大模型领域创业,打造中国的 OpenAI。原京东集团技术委员会主席、云与 AI 总裁,京东人工智能研究院院长周伯文也投身到大模型创业中,他称,“大模型并非大厂专属”,其创办的公司衔远科技近日宣布拿到了数亿元天使轮融资。去年,快手前 MMU(Multimedia understanding,多媒体内容理解)负责人李岩在 2022 年下半年成立了 AI 公司 " 元石科技 ",主要进行多模态大模型的研发。
Alex Smola 是全球机器学习领域的著名科学家,研究方向是机器学习和统计数据分析,包括文档分析、生物信息学、计算机视觉、互联网数据分析等应用领域。其专长是深度学习、内核方法、无监督模型、快速采样器、用户模型等,这里面包括高度可扩展的模型。
领英资料显示,Alex Smola 自 2016 年 7 月起担任亚马逊机器学习总监,后成为亚马逊副总裁、杰出科学家。在亚马逊,Alex Smola 领导着机器学习大学团队,该团队负责向每个人教授机器学习。他还管理着 AutoGluon、DGL(深度图神经网络)、D2L.ai《动手学深度学习》项目、计算机视觉工具箱、NLP、深度学习编译器和 MXNet 框架等团队。
2013-2017 年间,Alex Smola 担任卡耐基梅隆大学教授。在此之前,Alex Smola 曾在谷歌、雅虎工作过。Alex Smola 还是畅销机器学习著作《动手学深度学习》的主要作者,迄今共发表了 200 多篇论文和多本学术专著,在全球范围享有盛誉。
李沐是硅谷华人技术大神,深度学习框架 MXNet 创始人之一。他在江湖人称“沐神",甚至被称作深度学习界的“米其林”。
公开资料显示, 李沐 2008 年毕业于上海交通大学计算机系,大学期间,曾在微软亚洲研究院担任实习生。李沐还曾在百度担任过深度学习研究院(IDL)的主任研发架构师一职。
李沐的主要研究兴趣集中在大规模机器学习,尤其是大规模分布式系统和机器学习算法的协同设计。李沐曾以第一作者的身份在计算机科学领域的大会以及期刊上发表了多篇论文,包括跨度理论(FOCS)、机器学习(NIPS、ICML)、应用层面(CVPR、KDD)、操作系统(OSDI)等方向。
李沐还是一位网红 UP 主,他在 B 站开设了账号,跟李沐学 AI:https://space.bilibili.com/1567748478 ,致力于 AI 科普。关于他此次创业,有不少网友纷纷表示,支持创业,但希望不要影响沐神讲课速度,耽误解读论文。
这是师徒二人第二次搭档创业了。
李沐在 CMU 就读博士期间,他在国内的好友们,如戴文渊、余凯等人纷纷创业,受到他们的影响,李沐与导师 Alex Smola、同学一共五个人,也体验了一把创业。他们创办了数据分析算法公司 Marianas Labs,Alex Smol 教授担任 CEO,李沐担任 CTO。
当时的创业项目是与社交媒体相关的,幸运的是,在公司成立后不久就得到了不少大客户的青睐,其中一位大客户看中了他们的项目,就一口气把整个公司买了下来。
不过后来由于经营理念的不同,李沐等人选择了退出,这场创业之旅就这么短暂结束了,但是创业带来的经验却可以受用一生。
“在学术界,当你有一个想法,马上就可以开始操作,并且只需要把想法实现,大概完成 90% 的工作就好;而在工业界,想法不是最重要的,重要的是要把想法落地,剩下的那 10% 的工作才是最重要的,甚至可能会花费你 90% 的精力。”“而创业,需要考虑的事情就更复杂了,除了要思考如何把想法落地,还需要考虑团队的合作、人员的调配,要决定团队的发展方向,分析整个工业环境的发展趋势等”,李沐曾谈到。
2016 年 7 月,Alex Smola 教授重返工业界,加入亚马逊做主管,随后于 2019 年 3 月在 AWS 担任副总裁级别的科学家。同月,李沐紧随其博士生导师先以兼职身份加盟 AWS 成为高级应用科学家。据“亲爱的数据”此前报道,李沐直接向其老师 Alex Smola 教授汇报。后来,李沐担任 AWS 高级科学家,2020 年 10 月,晋升为 AWS 资深高级科学家。
面对被冠以的“大神”称号,他却谦虚地表示:“比我厉害的人多的是,我不是大神。”
2019 年,InfoQ 有幸在对李沐进行了一次专访,了解到了他从学术界到工业界的精彩故事。
名校学艺
上海交通大学 ACM 班, 取名源于国际科学教育计算机组织——美国计算机学会(Association of Computing Machinery),ACM 是世界上第一个、也是最有影响的计算机组织,计算机领域最高奖——图灵奖是由该组织设立和颁发的。
李沐的大学本科,就是在这样一个被寄予厚望的“特色班”里度过的。
有意思的是,他当时只是对数学很感兴趣,高中的时候虽然参加过一些数学竞赛,可几乎没有接触过计算机。进到了这么一个培养计算机科学家的班里,他自己也有些拿不准:到底能不能搞定这个复杂的机器?
ACM 班最大的特点在于注重实践,即使是在本科阶段,学生也需要手写大量的代码来练习,至少也是其他院校同院系实践量的四五倍。此外,ACM 班非常注重数学能力,这也给了李沐发挥所长的机会。
不过,可不要觉得李沐的生活就此陷入了无边无际的“代码海洋”之中,“学霸”的生活并不枯燥,反而还充满了不少乐趣。据李沐的室友透露:那时的李沐不仅学习成绩好,还是篮球场上的一把好手,更是电竞场上的“大神级”人物。
然而不久之后,戏剧性的一幕出现了:虽然踌躇满志进入了 ACM 班,并且报名参加了计算机竞赛,但是李沐最终因为训练的成绩不合格被刷了下来。
这个时候,李沐遇到了他的导师:吕宝粮教授,也正是从那时起,李沐正式推开了人工智能的大门。
吕宝粮,上海交通大学计算机系教授、博士生导师,IEEE 高级会员。主要研究方向有:仿脑计算机理论与模型;机器学习理论与应用;神经网络理论与应用;生物特征识别;自然语言处理;脑与计算机界面。
李沐第一次接触人工智能,就是被吕宝粮教授的一个案例震撼到了。
“当时教授展示了一张他们实验室人员的合照,并用人脸识别系统把每一个人的名字都对应显示了出来,当时我们就被这个 demo 吸引住了,也就这样选择加入了这个实验室。”
李沐的人工智能之路也就由此正式开始了。“本科阶段还有时间打球、打游戏,后来真的是一年比一年累,回想起来,在 ACM 班的经历就像是一个过渡期。”
“过渡期”之后,李沐没有去找工作,而是选择到香港科技大学继续深造。李沐的选择是受到了 ACM 班定位的影响——培养计算机科学家,ACM 班也更鼓励人才去从事学术研究。
“除此之外,当时的大环境也是影响我选择的一个原因。那是大概 2008 年左右,虽然当时计算机已经成了热门专业,但是当时的 IT 公司并没有那么厉害,尤其在 AI 方面的技术并没有那么强。”
在港科大又修炼了一年多的内功之后,李沐开始了“初入江湖”的旅程。
在正式进入工业界之前,李沐已经在微软亚洲研究院“小试牛刀”了三个月左右。
微软亚洲研究院被称为中国 IT 界的“黄埔军校”,这短短的三个月里,李沐也学到了很多东西:“最直接的感受就是接触了公司文化,比如公司的生活什么样、大家谈论什么话题、跟什么样的人打交道等等。”
李沐真正开始与工业界亲密接触,是加入百度的那一年。
那一年,本来已经拿到了美国的几个 offer,但是家人的身体情况让他选择留在国内,于是在师兄戴文渊的鼓励下,李沐进入了百度。
在百度,李沐的主要工作是广告预测,利用广告数据有效地训练一个模型,使得该模型能够准确的预测用户会不会点某个广告。
在百度的一年时间里,李沐积累了大量的经验,他也坦言,这些经验是在学校里学不到的:“学校的实验环境里,也许只能用到几块 GPU,跑几个 G 的数据。而在企业里,你面对的是几个 T 的数据量和上百台机器,在这种情况下,你不得不去考虑如何做分布式,或者如何让代码和系统变得更快、更简洁。”
一年后,李沐再次踏上了求学之路。“在百度的经历让我学到了很多,也更清楚地发现了自己的短板。但是当时国内做系统方向的人比较少,所以我还是选择了去美国继续攻读博士。”
“不过,这只是一个原因。”
另一个原因是:李沐在香港学习期间,遇到了现在的妻子,她被 MIT 录取,为了不忍受异地恋的辛苦,李沐毅然决然选择同去美国。
“其实她才是真学霸。”李沐笑道。
那么问题来了,既然要去美国,选择哪所学校呢?李沐当时很坚定的选择了两所学校:一个是妻子所在的 MIT,另一所是离 MIT 最近的 CMU(卡内基梅隆大学)。
他最后被 CMU 录取,在美国开始了事业爱情两开花的生活。
在 CMU 又度过了 5 年的博士时光,李沐再次走上了求职路,而他与亚马逊的缘分也就此开始了。
李沐初到亚马逊时,人工智能部门刚刚成立,正是需要深度学习框架来支持的时候,李沐的经验正好派上了用场。
除了 MXNet,李沐也参与了一些别的项目。“框架只是一个工具,更重要的是要知道如何用好工具来服务客户。”分布式系统出身的李沐感慨道:“分布式系统最难的不是如何让每个机器计算的多快,而是机器之间的通讯问题,如何减少通讯提升交互效率,这对系统来说也是至关重要的。”
重出江湖的李沐早已不再是之前稚嫩的模样,在面对项目的时候,他也需要考虑项目组之间的交互问题,如他所言:亚马逊也像是一个巨大的分布式系统,部门与部门之间的交互就像机器之间的通讯一样。但是人之间的联系并不像机器那么好优化,一旦协作不畅,很容易使项目陷入瓶颈。这些都是李沐之前不曾考虑过的问题,也是李沐不断进步的动力。
在学术界和工业界来来往往多年之后,李沐把目光看向了国内:中国的人工智能开始初发萌芽。问题也随之而来:AI 虽然火,但是门槛太高,不少企业与个人想学习而不得法,层出不穷的培训班也良莠不齐,一些培训课程虽然能够让学生快速上手,但是却也只能解决短期的问题,并不能有益于长远发展。
于是,李沐为自己重新规划了使命:授业解惑,让更多的用户了解 AI、学习 AI、使用 AI,让人工智能的生态圈在国内扩大。
2017 年,他在国内开办了线上深度学习培训班,零基础入学,引发了狂热的报名浪潮。“当时非常令我们受触动的一点是:除了在校的学生、IT 从业者之外,还有很多非 IT 行业的人来学习,并且真的收获了不少知识。”
授人以渔,这似乎成为了李沐的新目标,他随后出版的交互式书籍《动手学深度学习》也是为了实现这一目标而撰写的。
面对国内网友给他冠以的“AI 大神”称号,李沐淡然一笑:“比我厉害的大神多的是,我不是大神。”李沐说,中国人工智能领域还有很多真的“大神”级别人物正在研读论文、默默实践,他们的很多成就其实并不为人所知,中国在世界各地读书的学生们也都发表过不少优秀的论文。
“大神之虚名非我所愿,授人以渔乃是初心”。
参考资料:
从大神Alex Smola与李沐离职AWS创业融资顺利,回看ChatGPT大模型时代“底层武器”演进
https://github.com/boson-ai/homepage
https://app.myzaker.com/news/article.php?pk=640706c0b15ec05cff04ff26
点击底部阅读原文访问 InfoQ 官网,获取更多精彩内容!
马斯克被Twitter脆弱的代码“逼疯”,要求全部重写!网友:重构是空降领导了解当前系统最快的方式?
微信扫码关注该文公众号作者