国际科技财经博客移民网络热点娱乐民生时事公众号

>

Transformer八子全部叛逃谷歌！最后一位共同作者月底离职创业

Transformer八子全部叛逃谷歌！最后一位共同作者月底离职创业

公众号新闻

2023-07-12 04:07

新智元报道

编辑：桃子好困

【新智元导读】2017年，Transformer开山之作的最后一位共同作者，宣布月底即将离职谷歌自创业。

Transformer八子全都叛逃了谷歌。

爆料称，当年参与谷歌Transformer惊世之作的最后一位共同作者Llion Jones，月底将离职谷歌自行创业。

前谷歌大脑、前Stability AI高管David Ha也转发了这一消息。

2017年6月，「Attention Is All You Need」一声炸雷，大名鼎鼎的Transformer横空出世。

然而，6年过去了，曾联手打造最强架构的「变形金刚们」纷纷离开谷歌，有的加入了OpenAI等初创公司，有的则白手起家去创业。

如今，其中已经确定Transformer七子现在都在哪家公司，唯独Llion Jones一直还留在谷歌。

而现在，Llion Jones的离去，标志着Transformer「变形金刚大解体」。

任职8年，Transformer被引最高

作为Transformer架构奠基架构合著者之一，Llion Jones向彭博确认，将于本月晚些时候离开谷歌日本，并计划在休假后创办一家公司。

Jones在给彭博社的一封消息中写道：

离开谷歌并不是一个容易的决定，我与他们度过了非常精彩的十年，但是现在是尝试一些不同的事情的时候了。鉴于人工智能领域的势头和进展，现在是构建新事物的好时机。

谷歌的一位发言人没有立即回应置评请求。

根据个人领英主页，Llion Jones于2015年6月加入了谷歌，至今已经任职8年。此前他曾就职于YouTube、Delcam。

他曾在伯明翰大学取得了和计算机专业的学士和硕士学位。

到目前为止，Jones的谷歌学术主页中，引用最高的一篇文章当属17年横空出世的「Attention Is All You Need」，引用数81266。

Transformer现在是大型语言模型的关键组成部分，而这种技术是OpenAI的ChatGPT等流行人工智能产品的基础。

在过去的几年中，该论文的作者们已经创办了一些知名的初创企业，包括为企业客户提供LLM的Cohere，以及允许用户创建模仿名人和历史人物的聊天机器人的Character.AI。

随着Jones的离开，意味着所有八位作者都已经离开了谷歌。

新硅谷「八叛徒」

那么，其他七子现又身处何处呢？

Jakob Uszkoreit被公认是Transformer架构的主要贡献者。

他在2021年中离开了谷歌，并共同创立了Inceptive Labs，致力于使用神经网络设计mRNA。

到目前为止，他们已经筹集了2000万美元，并且团队规模也超过了20人。

Ashish Vaswani在2021年底离开谷歌，创立了AdeptAILabs。

可以说，AdeptAILabs正处在高速发展的阶段。

目前，公司不仅已经筹集了4.15亿美元，而且也估值超过了10亿美元。

此外，团队规模也刚刚超过了40人。

然而，Ashish却在几个月前离开了Adept。

在Transformers论文中，Niki Parmar是唯一的女性作者。

她在2021年底离开谷歌，并和刚刚提到的Ashish Vaswani一起，创立了AdeptAILabs。

不过，Niki在几个月前也离开了Adept。

Noam Shazeer在Google工作了20年后，于2021年底离开了Google。

随后，他便立刻与自己的朋友Dan Abitbol一起，创立了Character AI。

虽然公司只有大约20名员工，但效率却相当之高。

目前，他们已经筹集了近2亿美元，并即将跻身独角兽的行列。

Aidan Gomez在2019年9月离开了Google Brain，创立了CohereAI。

经过3年的稳定发展后，公司依然正在扩大规模——Cohere的员工数量最近超过了180名。

与此同时，公司筹集到的资金也即将突破4亿美元大关。

Lukasz Kaiser是TensorFlow的共同作者人之一，他在2021年中离开了谷歌，加入了OpenAI。

Illia Polosukhin在2017年2月离开了谷歌，于2017年6月创立了NEAR Protocol。

目前，NEAR估值约为20亿美元。

与此同时，公司已经筹集了约3.75亿美元，并进行了大量的二次融资。

你只需要注意力！

Transformer诞生之前，AI圈的人在自然语言处理中大都采用基于RNN（循环神经网络）的编码器-解码器（Encoder-Decoder）结构来完成序列翻译。

然而，RNN及其衍生的网络最致命的缺点就是慢。关键问题就在于前后隐藏状态的依赖性，无法实现并行。

Transformer的现世可谓是如日中天，让许多研究人员开启了追星之旅。

2017年，8位谷歌研究人员发表了Attention is All You Need。可以说，这篇论文是NLP领域的颠覆者。

论文地址：https://arxiv.org/pdf/1706.03762.pdf

它完全摒弃了递归结构，依赖注意力机制，挖掘输入和输出之间的关系，进而实现了并行计算。

甚至，有人发问「有了Transformer框架后是不是RNN完全可以废弃了？」

JimFan所称Transformer当初的设计是为了解决翻译问题，毋庸置疑。

谷歌当年发的博客，便阐述了Transformer是一种语言理解的新型神经网络架构。

https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

具体来讲，Transformer由四部分组成：输入、编码器、解码器，以及输出。

输入字符首先通过Embedding转为向量，并加入位置编码（Positional Encoding）来添加位置信息。

然后，通过使用多头自注意力和前馈神经网络的「编码器」和「解码器」来提取特征，最后输出结果。

如下图所示，谷歌给出了Transformer如何用在机器翻译中的例子。

机器翻译的神经网络通常包含一个编码器，在读取完句子后生成一个表征。空心圆代表着Transformer为每个单词生成的初始表征。

然后，利用自注意力，从所有其他的词中聚合信息，在整个上下文中为每个词产生一个新表征，由实心圆表示。

接着，将这个步骤对所有单词并行重复多次，依次生成新的表征。

同样，解码器的过程与之类似，但每次从左到右生成一个词。它不仅关注其他先前生成的单词，还关注编码器生成的最终表征。

2019年，谷歌还专门为其申请了专利。

自此，在自然语言处理中，Transformer逆袭之路颇有王者之风。

归宗溯源，现在各类层出不穷的GPT（Generative Pre-trained Transformer），都起源于这篇17年的论文。

然而，Transformer燃爆的不仅是NLP学术圈。

万能Transformer：从NLP跨到CV

2017年的谷歌博客中，研究人员曾对Transformer未来应用潜力进行了畅享：

不仅涉及自然语言，还涉及非常不同的输入和输出，如图像和视频。

没错，在NLP领域掀起巨浪后，Transformer又来「踢馆」计算机视觉领域。甚至，当时许多人狂呼Transformer又攻下一城。

自2012年以来，CNN已经成为视觉任务的首选架构。

随着越来越高效的结构出现，使用Transformer来完成CV任务成为了一个新的研究方向，能够降低结构的复杂性，探索可扩展性和训练效率。

2020年10月，谷歌提出的Vision Transformer (ViT)，不用卷积神经网络（CNN），可以直接用Transformer对图像进行分类。

值得一提的是，ViT性能表现出色，在计算资源减少4倍的情况下，超过最先进的CNN。

紧接着，2021年，OpenAI连仍两颗炸弹，发布了基于Transformer打造的DALL-E，还有CLIP。

这两个模型借助Transformer实现了很好的效果。DALL-E能够根据文字输出稳定的图像。而CLIP能够实现图像与文本的分类。

再到后来的DALL-E进化版DALL-E 2，还有Stable Diffusion，同样基于Transformer架构，再次颠覆了AI绘画。

以下，便是基于Transformer诞生的模型的整条时间线。

由此可见，Transformer是有多么地能打。

参考资料：

https://www.bloomberg.com/news/articles/2023-07-11/ai-researcher-who-helped-write-landmark-paper-is-leaving-google

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章

相关阅读

比Transformer快4成！Meta发布全新Megabyte模型，解决算力损耗硬伤与刘源的一面之缘 Transformer论文「重磅更新」！八子全部离职，谷歌删除Attention Is All You Need所有作者邮箱 ICML 2023 | 轻量级视觉Transformer (ViT) 的预训练实践手册 Transformer六周年：当年连NeurIPS Oral都没拿到，8位作者已创办数家AI独角兽炸裂！微软新作LongNet：将Transformer扩展到10亿个Tokens ChatGPT不香了？OpenAI核心员工组团叛逃谷歌，抱怨Altman不懂行儿子大了不由娘愚不可及的，是自己对自己吼“你是个中国人”。有点像“受鲁迅思想影响”，怨谁？顶尖精神病学家《健康标竿》共同作者说：回去教会吧！因为孤独感现在是健康的主要威胁在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数 Transformer作者创立，Hinton、李飞飞青睐，明星创企Cohere推出打工人专用知识助手 Transformer八子：新硅谷「叛徒」铸就 AI 世界「至尊魔戒」娘亲舅大（一）华阳刘三姐基于Transformer的大模型是如何运行的？Meta从全局和上下文学习揭秘人事三则｜Prada 和 Miu Miu 设计总监或于年底离职；Under Armour 任命首席设计官；Garnier总裁更迭 Transformer诞生6年：彻底改变AI界，8位作者已创办数家AI独角兽 RWKV论文燃爆！将RNN崛起进行到底！可扩百亿级参数，与Transformer表现相当！RWKV：在Transformer时代重振RNN 星标破10万！Auto-GPT之后，Transformer越新里程碑《梦想如此美丽》&《因为爱你》12种模态，一个学习框架，Meta-Transformer实现骨干网络大一统 transformer的细节到底是怎么样的？Transformer 连环18问！大模型的好伙伴，浅析推理加速引擎FasterTransformer PackedBert：如何用打包的方式加速Transformer的自然语言处理任务 VCE物理— transformer的理解和例题 transformer高效训练方法一览 Transformer发表六周年！8位作者已创办数家AI独角兽！谷歌最后一位Transformer论文作者离职创业，野心不小，要颠覆当前生成AI范式云原生 AI 工程化实践：FasterTransformer 加速 LLM 推理无自注意力照样高效！RIFormer开启无需token mixer的Transformer结构新篇章 Transformer升级之路：一种全局长度外推的新思路 Transformer八子谷歌一个也没留住！最后一名作者已宣布离职创业彻底抛弃Transformer，八金刚之一再创业！联手前谷歌Brain大佬创建自然启发智能模型 Transformer出逃八子最后一人正式创业！坐标日本搞AI“群”模型，本人：在谷歌有被困住的感觉

热点事件追踪