Redian新闻
>
xAI发布会:马斯克12人创始团队全揭秘|Z Talk

xAI发布会:马斯克12人创始团队全揭秘|Z Talk

科技

北京时间凌晨 4 点,马斯克带领 xAI 创始团队在 Twitter Spaces 上完成了第一场语音发布会。


作为一家始终坚持投人哲学的早期投资机构,我们研究了 xAI 创始团队成员,尤其是 4 名华人的成长经历,试图还原 xAI 创始团队组建的全过程。希望对你有所启发,也欢迎在评论区与我们交流。



在刚刚结束的 xAI 首场 Twitter Spaces 语音直播中,伊隆·马斯克(Elon Musk)表示:

  • xAI 将探索宇宙的本质,利用人工智能生成更深层次的问题,例如暗物质、费米悖论、外星人,并给出答案
  • 确认 xAI 与 OpenAI 和谷歌的竞争关系
  • 将用推特公开数据训练「最具好奇心」的人工智能
  • xAI 将开发理解物理世界而不仅是互联网」的技术,而特斯拉的驾驶数据或许有所帮助


两天前,马斯克在推特上宣布人工智能公司 xAI 正式成立——为了理解宇宙真正的本质。


xAI 官网同步上线。占据官网最大版面的是 12 人的创始团队,包括马斯克在内。成员来自 DeepMind,OpenAI,谷歌,微软,特斯拉,和多伦多大学。很多 AI 领域的突破性成果均来源于他们的工作,例如 AlphaStar,AlphaCode,Inception,Minerva,GPT-3.5 和 GPT-4。


xAI 拥有一个全明星创始团队。人才密度令人印象深刻,我读过太多他们的论文了,数都数不清。」英伟达高级研究员、斯坦福深度学习博士 Linxi Jim Fan在领英上评论。



创始团队成员伊戈尔•巴布什金(Igor Babuschkin)在发布会上表示,xAI 的团队将维持较小的规模


「在我之前做过的所有项目中,我发现人均 GPU 是一个项目成功与否的关键指标。我们希望保持一个相对较小的团队,让最顶尖的人才拥有自由和大量资源来尝试并实现他们的想法。」



01

号角声起


3 月初,外媒发现马斯克在内华达州注册了一家名叫 xAI 的公司。同月,挖墙角消息传出。


早在 xAI 注册之前,马斯克的第一根橄榄枝,就已递给了 DeepMind 的伊戈尔•巴布什金。


2017 年起,巴布什金在 DeepMind 担任研究工程师。近四年后,巴布什金选择离开,以技术人员的身份加入 OpenAI。后又在 2022 年再次回到 DeepMind,担任高级研究工程师。


在 DeepMind 期间,他和同事一起开发了知名星际争霸 AI 模型 AlphaStar。AlphaStar 从 50 万局「星际争霸 2」中学习,随后自己玩了 1.2 亿局来精进技术。最终,它达到了最高的宗师(Grandmaster)段位,水平超越了99.8%玩家。


另一位马斯克从 DeepMind 招募来的技术人才是曼努埃尔·克罗斯(Manuel Kroiss)。克罗斯此前在 DeepMind 担任软件工程师。事实上,马斯克当时为他提供的职位是推特的高级软件工程总监。


在随后的 4 月,根据领英信息,吴宇怀加入。5 月,张国栋和克里斯蒂安·塞格迪(Christian Szegedy)加入。6 月,托比·波伦(Toby Pohlen)加入。


7 月,xAI 上线。


波伦本硕就读于德国亚琛工业大学计算机科学专业,2017 年,与巴布什金在同一时期加入 DeepMind,后一起合作开发 AlphaStar。波伦也领导过大语言模型项目。在 DeepMind 工作 6 年 3 个月后,加入 xAI。


这 12 个人中的大多数都曾有过在 DeepMind 和 OpenAI 工作的经历。加上微软、谷歌、研究机构,构成了马斯克渴求的 AI 人才宝库。


但当马斯克试图邀请多名 OpenAI 成员加入时,收到不少拒绝。因为团队尚处于初期,想象力虽大,现阶段吸引力仍有限。


罗斯·诺丁(Ross Nordeen)的经历是 12 人中特别的那一个。从 2020 年起,他担任特斯拉技术项目经理,负责超级计算、机器学习和深度学习基础设施等工作。


2012年,他本科毕业于密歇根理工大学(Michigan Technological University)的计算机网络和系统管理专业,曾先后工作于 Whamcloud、Palantir Technologies 和 Handshake。


在加入 xAI 之前,马斯克于去年 10 月把诺丁从特斯拉带到推特,管理招聘与访问工作。


目前,xAI 正在持续招募湾区工程师和研究人员。


然而,想要进 xAI 并不容易。一个独特的招聘标准是,候选人必须要 12 个人全票通过,才能够加入这家公司。



02

华人云集


12 人中,华人占三分之一:戴自航(Zihang Dai)、张国栋(Guodong Zhang)、杨格(Greg Yang )、吴宇怀(Yuhuai Tony Wu)。



戴自航 Zihang Dai


2019 年,美国卡内基梅隆大学(CMU)和谷歌大脑团队(Google Brain)发布预训练语言模型 XLNet,在 20 项任务上全面超越 BERT。


这篇著名论文的共同一作,一位是杨植麟,另一位是戴自航。



作为国内顶尖 AI 学者之一,杨植麟晚于戴自航两年进入清华大学就读,当他毕业进入 CMU 计算机学院读博时,戴自航同在CMU。今年 4 月,杨植麟成立 AI大模型初创公司「月之暗面」,主要业务为 AGI,真格基金为其天使轮投资方。


杨植麟表示,和小伙伴进行学术讨论是一个很好的产生 idea 的方法,「比如我会经常跟我的朋友戴自航一起讨论 idea 和写论文,当前最好的语言模型架构 Transformer-XL 就是合作的结果。」


此前,国内曾有明星大模型公司盛邀戴自航加入,但他最终选择了 xAI。


戴自航高中就读于重庆南开中学,2009 年入读清华经管学院的信息管理与信息系统专业。初入学时,他曾写下「高兴地发现自己没有被那不可抗拒的强大压力所吓倒,同时也时刻被环境提醒着不得不全力以赴去奋斗。」


四年专业课融合了数理基础、计算机、管理与经济学。在埃森哲、罗兰贝格做过咨询实习后,他在网易资本成立的同月加入实习,负责中早期的互联网企业投资。


如果说大学阶段的三份实习还属于「清华经管典型路线」,而到了 2013 年本科毕业时,戴自航完成了向机器学习领域的转身。


彼时,距余凯代表百度参与加州太浩湖畔那场争夺图灵奖得主、「深度学习之父」杰弗里·辛顿(Geoff Hinton)的竞拍才不到一年。在竞拍失败的推动下,2013 年年初,百度宣布组建深度学习研究院(IDL),全速招募顶尖人才,李彦宏亲任院长,余凯任常务副院长。


那年夏天,他以工程师实习生的身份加入了 IDL,专注百度识图算法相关工作,覆盖基于内容的图像检索 CBIR、Fisher Vector、度量学习。同时,他也研究深层结构 RankNet,图像语义基因组研究,有时还会做做产品设计。


一年后,他离开百度,前往 CMU 开启六年的计算机硕博生涯,师从 Yiming Yang。历经图灵奖得主 Yoshua Bengio 创立的 Mila 实验室,谷歌大脑团队,在 2020 年博士毕业后,戴自航正式以研究科学家的身份加入谷歌大脑,主要方向为自然语言处理、预训练。



张国栋 Guodong Zhang


另一位在国内读本科的成员张国栋曾说,如果他是一个运动员的话,那一定是个长跑健将,因为他从不停止奔跑。


2013 年,他进入浙江大学信电学院信息工程专业就读,辅修竺可桢学院工程教育高级班(Advanced Honor Class of Engineering Education,ACEE)。在全专业 182 人中,连续三年排名专业第一。


从大一的无线通信,到大二的计算机视觉,到大三暑假加利福尼亚大学洛杉矶分校(UCLA)统计与深度学习的交叉领域,师从朱松纯与吴英年,再到大四的高级视觉深度学习,张国栋很早就明确了自己的科研志向。



本科毕业后,张国栋赴加拿大多伦多大学计算机科学系求学,获得机器学习博士学位。读博期间,他在多智能体优化与应用、深度学习、贝叶斯深度学习等领域均发表顶会论文。


多伦多大学是杰夫·辛顿任教之地。博士期间,张国栋也在辛顿指导下,作为谷歌大脑团队的实习生从事大规模优化与快速权重线性注意力研究(Large-scale optimization and fast-weights linear attention)。


2022 年,张国栋博士毕业,全职加入 DeepMind,为 GPT-4 的竞争者 Gemini 计划的核心成员,负责训练与微调大型语言模型。


2023 年 5 月,张国栋加入 xAI,成为十二分之一。



杨格 Greg Yang


12 岁前,杨格在中国长大。他出生于湖南,母亲在小学时就会给他买数学奥赛书,到美国后参加数学竞赛,又进入哈佛大学数学系,好像「从小到大,一直在学数学,像仓鼠在踩轮子一样。」


在杨格大二学年结束时,因为痴迷电子音乐,他选择休学追求音乐梦想,成为一名 DJ。一边做音乐,一边读人工智能、量子力学、物理、数学。但读着读着,杨格发现他花在人工智能上的时间越来越多,做音乐的时间越来越少。



在一年半的时间中杨格想明白了几件事:


一,他想让 AGI 变成现实。「做一个比你聪明得多得多的东西,听起来很不错。」那时还是 2012 年。


二,他深爱数学。


三,数学是一切科学最本质的语言,会推动 AI 及更多学科进步。


回到哈佛上了一个学期课后,杨格选择二次休学,时长两年,以阅读的方式快速自学数学所有分支知识。


当他再度回到哈佛时,丘成桐成为了他的学术导师。丘成桐带着杨格出席活动、认识各色方向的博士生、数学家,还推荐他申请数学界本科生能取得的最高荣誉:摩根奖(Morgan Prize)。


在哈佛取得数学学士与计算机硕士学位后,据智源社区报道,丘成桐和迈克尔·弗里德曼(Michael Freedman)一同向微软时任执行副总裁沈向洋推荐杨格。


一周后,杨格接到了 offer,正式以研究员身份入职微软雷蒙德研究院,研究方向包括张量(Tensor Programs)、神经网络与机器学习。


沈向洋对他说,「有两位菲尔茨奖得主推荐你,我要是再拒绝就显得太傻了。」


在马斯克宣布xAI正式成立后,杨格发推表示:


深度学习的数学是深奥、美妙而高效的。为大型神经网络开发“万有理论”,是将人工智能推向更高水平的核心。


同时,AI将使每个人都能以此前无法想象的方式,理解我们的数学宇宙。



吴宇怀 Yuhuai (Tony) Wu


吴宇怀高中就读于加拿大弗雷德瑞克顿高中(Fredericton High School),2013-2015 年在纽布伦斯威克大学(University of New Brunswick)读本科,专业为数学。


2015 年,吴宇怀进入多伦多大学读机器学习博士,师从罗杰·格罗斯(Roger Grosse)和吉米·巴(Jimmy Ba)。


求学期间,吴宇怀在 Mila,OpenAI,DeepMind 和 Google 做过研究员。他曾是克里斯蒂安·塞格迪(Christian Szegedy)领导下,Google N2Formal 团队的一员。


吴宇怀在个人主页上写道,「我的主要研究兴趣创造一个善于推理的机器。我选择数学作为研究推理的起点,目标是创造一个自动化的数学家。



在吴宇怀合著的一篇论文中,研究员们训练了一个增强大语言模型 Minerva,试图教 Minerva 逐步解决自然语言数学问题。Minerva 数学能力很强,在波兰的 2022 年国家数学考试中,答对了 65% 的问题。


但据机器之心报道,这样的模型只能模仿,不能自主训练来提高数学水平。形式化证明系统(formal proving systems)提供了训练环境,但相关数据很少,也因此我们需要自动形式化(autoformalization)作为连接自然语言数学的桥梁。


在 2023 年 4 月加入 xAI 前,吴宇怀在斯坦福大学做博士后研究。


吉米·巴是吴宇怀的导师,而他在博士期间又师从杰弗里·辛顿。在多伦多大学完成电气与计算机工程的本硕博学习后,他成为多伦多大学计算机系的助理教授,是优化器Adam提出者之一。他的研究兴趣集中于深度神经网络的高效学习算法,而长期目标是回答——如何构建一个能解决通用问题的机器,让它具有人类一样的效率和适应性?


而创始团队中的另一名成员克里斯蒂安·塞格迪,是吴宇怀在 Google N2Formal 团队的负责人,也是团队里最年长的一位。2005 年,塞格迪获波恩大学应用数学博士。2010 年,塞格迪加入谷歌。在随后的 13 年间,致力于深度学习、人工智能、计算机视觉等领域研究。在谷歌学术(Google Shcolar)上,塞格迪的被引用数近 22 万。



03

The Answer


xAI 可能是最有底气把理解宇宙真正的本质当作目标的公司,疯狂,浪漫,横空出世。有钱,还有卡。


xAI 也确实是人均 GPU 最多的公司。


4 月,马斯克购买了大约 10000 个 GPU,称将用于推进一个推特的全新 AI 项目——或许是 xAI 的前身。


但最重要的是,有人。在这场漫长的追问宇宙本质的旅程中,人才是那把钥匙。





推荐阅读


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
国内最新量子计算机真机亮相!求解加速超100倍,创始团队来自清华中科院等马斯克1.5万字实录来了!他在特斯拉股东大会上回应一切思念,是对母亲唯一的回报终极格斗冠军赛总裁:马斯克与查克柏格非常坚持进行铁笼格斗,马斯克母亲:打打嘴仗算了Isaacson新书《马斯克传》:马斯克不是超人,而是扮成了超人 |【经纬低调分享】8.1分《长安三万里》精彩看点全揭秘,这是你在电影院都看不到的!推特联合创始人:马斯克收购公司让他感到“难过”对话戴雨森:ChatGPT展现了AI新大陆,我们终会抵达|Z Talk𝐂𝐚𝐥𝐧𝐢𝐊𝐞𝐚𝐧双皮奶内衣裤,软弹有度,上身0束缚~马斯克1.5万字实录来了!他在刚刚结束的特斯拉股东大会上回应一切GPT-4 最全揭秘,12 个关键细节被扒光TWS 景铄对话溪木源:初创企业如何人才破局|Z Talk“爱国侨领”被判无期徒刑【𝐂𝐚𝐥𝐧𝐢𝐊𝐞𝐚𝐧双皮奶无痕内裤】49元三条!巨巨巨好穿 !!简直就是辣妹顶配,食品级冰箱收纳盒【一日团】生成式AI是更大的机会,开始行动是关键 |Z Talk行前必看!美国留学生存技能全揭秘!AI风起时,如何在出海市场实现增长|Z Talk彭博富豪榜:马斯克上半年赚966亿 赢了查克柏格 查克柏格、马斯克尚未对决 Meta传将抢先推出推特杀手【我要穿越】穿越去前秦找Qin郎 (talk show)高利率,低利率,总有一款镰刀可以收割韭菜【首发】域新说天使轮融资近千万,牛津创始团队激发蛋白设计潜力揭秘|香港大学生竟然有将近四个月的暑假?带薪放假原来是这种感觉!苹果最重要新品终极爆料:配置、系统、内幕全揭秘,它会定义下一代计算中心吗?8.1分《长安三万里》精彩看点全揭秘,这是你在电影院都看不到的精彩!2023“基医会”日程全揭秘,40+ 创新案例等你来!“伶荔(Linly)”项目团队全新发布中文Falcon基础模型马斯克xAI誓师大会,2029实现AGI!12人创始天团揭秘xAI终极目标24Fall必收藏!美国顶级大学TOP30研究生申请要求全揭秘!5071 血壮山河之武汉会战 黄广战役 3网龙董事郑辉突发疾病去世:年55岁 为创始团队核心成员揭秘|爱泼斯坦曾拿这些破事威胁比尔盖茨2023特斯拉股东大会:马斯克否认辞职传言,两款新车要年销500万,人形机器人更强了大帝(1)——成吉斯汗: Genghis Khan我们不是野心家,走出大厂创业是时代使然 | 专访 SelectDB 创始团队豆瓣8.2!《长安三万里》精彩看点全揭秘,这是你在电影院都看不到的精彩...马斯克高调官宣AI公司,华人成创始团队主力:吴宇怀、Jimmy Ba、杨格、张国栋、戴子航加盟
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。