Redian新闻
>
Transformer论文「重磅更新」!八子全部离职,谷歌删除Attention Is All You Need所有作者邮箱

Transformer论文「重磅更新」!八子全部离职,谷歌删除Attention Is All You Need所有作者邮箱

公众号新闻



  新智元报道  

编辑:桃子 好困
【新智元导读】随着Transformer八子全部离职,谷歌也「删除」了2017年发表的Attention Is All You Need中,所有作者的邮箱。

当年Transformer的那篇惊世之作,早已人去楼(arXiv)空。
就在昨天,网友发现谷歌已经把「Attention Is All You Need」论文中的所有作者的邮箱全部「划线」删除。

论文地址:https://arxiv.org/pdf/1706.03762v6.pdf
并在论文最上方,用醒目的红色字体备注:
在注明出处的前提下,谷歌特此允许复制本文中的表格和数字,仅供新闻或学术著作使用。
从2017年到2023年,如下这张图已经成为历史。
谷歌这波操作,也是很及时。
前段时间,Transformer仅剩的一位作者Llion Jones宣布,7月底要离职谷歌自创业。
论文的更新,也是Llion Jones在昨天提交的第7版。

网友热议


有网友惊叹道,我以前从未见过论文将所有作者邮箱划去,显然谷歌这种做法自成一派。
我不知道这其中有多少是因为他们的工作基本上被扼杀了,而谷歌以外的人(OpenAI等)却在用它做着令人惊叹的事情。又或者,海湾地区的每家风险投资公司都会拿着大笔钱,投资他们想做的任何事情。
LinkedIn上的Ashish和Niki似乎在2022年12月创立了初创公司。我想知道那最终会是什么。
有网友回答道,可能是两者的结合。谷歌主要发明了生成性人工智能热潮背后的基础技术(除了A100),然后拒绝将其中任何一项作为产品实施。
他们声称要注重安全——我发现他们更有可能不想扰乱搜索业务,并认为这项技术需要更长时间才能成熟。谷歌遇到了创新的困境。
还有网友给Transformer八子,做了一个总结。

新硅谷「八叛徒」

那么,其他七子现又身处何处呢?
Jakob Uszkoreit被公认是Transformer架构的主要贡献者。
他在2021年中离开了Google,并共同创立了Inceptive Labs,致力于使用神经网络设计mRNA。
到目前为止,他们已经筹集了2000万美元,并且团队规模也超过了20人。
Ashish Vaswani在2021年底离开谷歌,创立了AdeptAILabs。
可以说,AdeptAILabs正处在高速发展的阶段。
目前,公司不仅已经筹集了4.15亿美元,而且也估值超过了10亿美元。
此外,团队规模也刚刚超过了40人。
然而,Ashish却在几个月前离开了Adept。
在Transformers论文中,Niki Parmar是唯一的女性作者。
她在2021年底离开Google,并和刚刚提到的Ashish Vaswani一起,创立了AdeptAILabs。
不过,Niki在几个月前也离开了Adept。
Noam Shazeer在Google工作了20年后,于2021年底离开了Google。
随后,他便立刻与自己的朋友Dan Abitbol一起,创立了Character AI。
虽然公司只有大约20名员工,但效率却相当之高。
目前,他们已经筹集了近2亿美元,并即将跻身独角兽的行列。
Aidan Gomez在2019年9月离开了Google Brain,创立了CohereAI。
经过3年的稳定发展后,公司依然正在扩大规模——Cohere的员工数量最近超过了180名。
与此同时,公司筹集到的资金也即将突破4亿美元大关。
Lukasz Kaiser是TensorFlow的共同作者人之一,他在2021年中离开了Google,加入了OpenAI。
Illia Polosukhin在2017年2月离开了Google,于2017年6月创立了NEAR Protocol。
目前,NEAR估值约为20亿美元。
与此同时,公司已经筹集了约3.75亿美元,并进行了大量的二次融资。

Llion Jones在2023年8月离开了Google,并于同月加入初创公司Stealth Startup,任AI研究科学家。

参考资料:

https://arxiv.org/pdf/1706.03762v6.pdf


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
transformer的细节到底是怎么样的?Transformer 连环18问!一代辉煌Transformer+强化学习,谷歌DeepMind让大模型成为机器人感知世界的大脑ICCV 2023 | 新注意力!清华黄高团队提出FLatten Transformer视觉新主干Transformer全新里程碑!诞生6年,开山之作被引近8万,没夺下NeurIPS最佳论文,却彻底改变AI界ICCV 2023 | 通向3D感知大模型的必由之路!UniTR:统一多模态Transformer Encoder!图与代码不一致,Transformer论文被发现错误!!!云原生 AI 工程化实践:FasterTransformer 加速 LLM 推理Transformer六周年:当年连NeurIPS Oral都没拿到,8位作者已创办数家AI独角兽Transformer速查宝典:模型、架构、训练方法的论文都在这里了微软新出热乎论文:Transformer扩展到10亿token炸裂!微软新作LongNet:将Transformer扩展到10亿个Tokens​下一代Transformer:RetNet结构可视化及Vision RetNet展望LV Carry all vs. Diane【𝐂𝐚𝐥𝐧𝐢𝐊𝐞𝐚𝐧双皮奶无痕内裤】49元三条!巨巨巨好穿 !!简直就是辣妹顶配,食品级冰箱收纳盒【一日团】Transformer发表六周年!8位作者已创办数家AI独角兽!Transformer八子全部叛逃谷歌!最后一位共同作者月底离职创业Transformer作者创立,Hinton、李飞飞青睐,明星创企Cohere推出打工人专用知识助手Attention机制竟有bug,Softmax是罪魁祸首,影响所有Transformer中国最具人才吸引力城市TOP100Transformer诞生6年:彻底改变AI界,8位作者已创办数家AI独角兽此「错」并非真的错:从四篇经典论文入手,理解Transformer架构图「错」在何处普京的秘密(1)——瓦格纳组织(1)《沉思》&合唱《岁月》nǚ hóng?nǚ gōngTransformer出逃八子最后一人正式创业!坐标日本搞AI“群”模型,本人:在谷歌有被困住的感觉𝐂𝐚𝐥𝐧𝐢𝐊𝐞𝐚𝐧双皮奶内衣裤,软弹有度,上身0束缚~斯坦福博士一己之力让Attention提速9倍!FlashAttention燃爆显存,Transformer上下文长度史诗级提升Transformer八子谷歌一个也没留住!最后一名作者已宣布离职创业我的牡丹、牡丹歌及盛唐牡丹诗送给 All Stars别把日子过成打牌让Attention提速9倍!FlashAttention燃爆显存,Transformer上下文长度史诗级提升jcrew 真丝上衣,裙子 all nwt想买500多本 all about history 杂志, 但是有200多磅让注意力提速9倍!FlashAttention燃爆显存,Transformer上下文长度史诗级提升!无自注意力照样高效!RIFormer开启无需token mixer的Transformer结构新篇章Attention机制竟有bug?Softmax是罪魁祸首,影响所有TransformerLLM-as-Agent、VLAM的机会、「算力困境」和对Transformer的质疑谷歌最后一位Transformer论文作者离职创业,野心不小,要颠覆当前生成AI范式All Black到底适不适合夏天呀
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。