彻底抛弃Transformer，八金刚之一再创业！联手前谷歌Brain大佬创建自然启发智能模型

公众号新闻

2023-08-18 05:08

新智元报道

编辑：编辑部

【新智元导读】谷歌Transformer八子之一的Llion Jones，同Stability AI主管David Ha一起官宣：成立新公司，抛弃Transformer架构，建立全新自然启发智能模型。

今天，Transformer八位作者之一Llion Jones，联手前谷歌大脑科学家、Stability AI研究主管David Ha官宣成立新公司——Sakana AI。

这家总部位于东京的初创公司，将要探索一种基于自然启发智能的新型基础模型。

官网地址：https://sakana.ai/

Sakana这一名字，来源于日语さかな，即为「鱼」。

他们的理念是，「让一群鱼聚集在一起，从简单的规则中形成一个连贯的实体」。

更进一步，便是进化和集体智慧。

目前来说，Sakana AI仍处于非常早期的阶段：没有构建AI模型，没有办公室，也并未透露融资的情况。

不过，无论是公司理念，还是创业地点的选择，这家初创公司都透露出一丝另辟蹊径的意味。

抛弃Transformer，专注新模型

现在各家巨头的大语言模型都已经进化到超强了，为什么两位创始人还是要做自己的大模型？显然，他们有自己独特的想法。

在Johnes和Ha看来，当前大语言模型的局限性在于，它们被设计成了脆弱、不可改变的结构，比如桥梁或建筑物。

相比之下，在自然系统中，是集体智慧在发挥作用。这个系统对周围世界的变化非常敏感，会适应环境，并成为环境的一部分。

他们希望的正是使用这些进化计算原理构建AI模型，来解决系统的成本和安全性的问题。

David Ha称，他们在在开发一种新型的人工智能模型，可以让机器学习工程师维护和监控的工作时间大幅降低。

Sakana AI实验室并没有依赖于Jones对Transformer的突破性研究。

人尽皆知，Transformer是OpenAI等科技公司使用的一种机器学习模型，已经在生成式AI上取得了巨大的效果。

对于Sakana AI，正如名字所示，联合创始人希望创建一种基于「自然启发智能」的新型基础模型。

「自然启发的智能」可能听起来像是60年代斯托纳电影中的内容，但这一概念在人工智能研究中有着悠久的历史。

Jones表示，这个想法是创造能够学习和搜索解决方案的软件，而不是必须一步一步地设计的软件。

像ChatGPT这样的人工智能模型容易越狱。为了防止这种攻击，开发⼈员必须手动更新模型。

Llion Jones和David Ha设想让他们的模型适应环境。

比如，Ha之前研究了「permutation-invariant神经网络」，即能够在困难情况下执行任务的人工智能模型。当部分视觉输入丢失或混乱时，仍旧能在模拟中驾驶汽车。

根据个人介绍，自然启发的智能一直是Ha职业生涯中的一个主题。

除了在permutation-invariant神经网络方面的工作，他还尝试研究了世界模型，从周围环境中收集数据，建立⼀个类似于人类的环境心理模型。

踏入竞争激烈的战场

因此，Sakana AI将构建自己的生成式AI模型，用于生成文本、图像、代码及其他软件。

这个赛道上竞争激烈之程度毋庸置疑，包括谷歌、微软这类巨头，以及OpenAI、Cohere、Character.ai和Anthropic等初创企业。

不过，这个领域资金也非常充足。

微软今年在OpenAI上投资了100亿美元，Cohere和Character.ai在过去几个月中也成功获得融资，估值分别达到了20亿美元和10亿美元。

为什么选择日本

不过，Sakana AI的总部设在日本，这个创业地点的选择多少有些不同寻常。

创始人解释说，自己已在日本工作多年，之所以选择东京作为公司总部，部分原因也是因为构建生成式AI软件的市场竞争太激烈了，尤其是在北美。

而东京拥有高质量的技术基础设施和受过良好教育的劳动力，这为AI公司的发展提供了得天独厚的条件。

「最重要的是，建立一个在非西方社会文化中表现良好的模型，围绕它训练数据，这将成为下一次技术突破的催化剂。」

另外，谷歌和其他公司的人工智能研究人员，最近将注意力集中在将现有技术进行商业化，这意味着更多前沿研究的空间越来越小。

但为研究而研究是两位联合创始人在Sakana坚持的原则，也是他们决定将公司总部设在东京的原因之一。

两位创始人

David Ha

David Ha将担任Sakana AI的CEO。

2016年，David Ha加入谷歌大脑负责机器学习领域的工作。

度过漫长的6年零4个月之后，他于2022年10月加入Stability AI担任研究主管。

在此之前，他获得了东京大学的博士学位，以及多伦多大学的学士学位。

有趣的是，今年6月从Stability AI离职之后，David Ha本人还曾发推吐槽表示「终于有时间睡个好觉了」。

Llion Jones

Llion Jones将担任CTO。

他最出名的代表作，那便是2017年和谷歌团队发表的「Attention Is All You Need」。

Llion Jones是这八位作者中，最后一位离开谷歌的人。他的离去，标志着Transformer「变形金刚大解体」。

上个月，彭博最先爆料称Transformer仅剩的一位作者Llion Jones宣布7月底要离职谷歌自创业。

当时，还未透露具体创业信息。不过，恰恰David Ha也转发了这一消息。

Jones表示：

离开谷歌并不是一个容易的决定，我与他们度过了非常精彩的十年，但是现在是尝试一些不同的事情的时候了。鉴于人工智能领域的势头和进展，现在是构建新事物的好时机。

Llion Jones于2015年6月加入了谷歌，至今已经任职8年。此前他曾就职于YouTube、Delcam。

他曾在伯明翰大学取得了和计算机专业的学士和硕士学位。

到目前为止，Jones的谷歌学术主页中，引用最高的一篇文章当属17年横空出世的「Attention Is All You Need」，引用数81266。

参考资料：

https://www.ft.com/content/1f0cee71-2a44-4080-8c79-b037243ac6f5

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章