这家OpenAI投资的公司，造出的芯片比iPad还大

2023-10-26 03:10

来源丨快鲤鱼（ID：akuailiyu）

作者丨李霜霜

编辑丨海腰

神经网络模型的训练需求呈指数级增长，看不到尽头。AI芯片市场竞争激烈，供应链短缺问题存在。此前OpenAI便传出要布局AI芯片自研的消息，有人认为，OpenAI或会从其曾经投资的公司中选取一家进行收购。

2019年推出过超大芯片的Cerebras Systems（以下简称“Cerebras”）是其中一家，OpenAI的创始人Sam Altman曾参与Cerebras的D轮融资。

Cerebras成立于2016年，是一家美国AI芯片独角兽公司，研发用于深度学习的芯片产品，向公司提出技术解决方案，以优化其硬件与构建完善的机器算法。它致力于从底层技术实现革新，改变芯片计算核心架构，提升芯片集成度，简化集群连接以此提升集群计算效率，让单台设备运行超大规模模型成为可能。

自成立之初，Cerebras获得多轮融资，最新一笔融资发生在2021年，由Alphawave Ventures和阿布扎比增长基金（ADG）领投，融资金额2.5亿美元。截至该轮融资，Cerebras融资总额7.2亿美元，公司估值超40亿美元。

值得一提的是，Cerebras的投资团队也较为“华丽”，包括Benchmark、Coatue Management、Eclipse Ventures、以及Sam Altman（OpenAI创始人）、Andy Bechtolsheim（Sun Microsystems创始人）、Pradeep Sindhu（Juniper Networks创始人)和 Fred Weber（AMD前CTO）等知名机构和业界大牛。

打造巨型芯片

Cerebras获得多轮高额投资与创始人Andrew Feldman（首席执行官）、Gary Lauterbach（首席技术官）有莫大关系。

Cerebras Systems首席执行官Andrew Feldman（左）和首席技术官Gary Lauterbach（右）

这两人已经共同合作12年，2007年时他们一起创办了微型服务器公司SeaMicro，并由AMD在2012年以3.34亿美元收购，两人随之加入了AMD，Andrew Feldman还在AMD做了两年半的副总裁。

Andrew Feldman拥有斯坦福大学MBA学位，曾多次作为公司高管完成收购和上市。他曾担任Force10（后被戴尔以8亿美元收购）的营销和产品管理副总裁，以及Riverstone Networks从成立到首次公开募股期间的企业发展副总裁。

另一位Gary则是行业大神，拥有50多项专利，被公认为业界顶尖的计算机架构师之一。早期曾担任Sun Microsystems的工程师，负责UltraSPARC III和UltraSPARC IV微处理器架构，而后Cerebras也有一笔融资来自Sun Microsystems。

Cerebras的核心团队由顶尖计算机架构师、计算机科学家和深度学习研究人员组成，公司内其他高管也曾在英特尔、AMD担任过高管、首席软件架构师等。

在这些高管的履历中，Andrew Feldman曾创立的SeaMicro也频频出现，Cerebras技术团队基本来自于曾经的这家公司。

据悉，SeaMicro的重量级产品配备了512个Intel Atom芯片，具有超级计算机性能和低功耗特点，经过3代更新，在被收购前英特尔管理人员称其产品可能占据10%的服务器市场。

在AMD完成收购后，Andrew Feldman负责监督AMD的服务器芯片业务。他在2年后选择离职，SeaMicro业务也在2015年终结。

但超级计算的故事并没有结束，第二年，Andrew Feldman几乎以“原队人马”创立了Cerebras。

现在看来，Cerebras巨型芯片的业务方向与SeaMicro的“巨无霸”十分类似，Cerebras的芯片能提供数百倍或数千倍现有解决方案的性能，并只需要很小的功耗。

区别在于，Andrew Feldman更精准地瞄准了人工智能加速计算。

巨型芯片被博物馆收藏

据官网显示，Cerebra的目标是构建新型计算机系统以实现加速人工智能、改变人工智能的未来。

Alpha Wave Ventures的联合创始人Rick Gerson曾做出评价：“Cerebras Systems正在重新定义人工智能的可能性，并在加快制药和生命科学等几个领域的创新方面有着一流的表现。”

Cerebras获得投资的另一个重要原因，是其开发了一种独特的大型芯片，被称作“晶圆级发动机”。这类芯片提供了英伟达系统的可能替代方案。

“历史中，没有人造过这么大的芯片。”Cerebras联合创始人兼首席执行官Andrew Feldman说。

与追求体积小、低功耗的传统芯片不同，Cerebras的芯片体积反其而行之。

2019年8月，Cerebras发布Wafer Scale Engine（WSE），引起业界关注，该芯片集成了1.2万亿个晶体管，40万个AI核心。普遍的芯片制造流程是从硅锭切下一片晶圆后加工，一片晶圆能被切成数百颗独立芯片，而WES的处理器直接将整片晶圆做成一颗芯片，其面积与12英寸晶圆所能截取的矩形面积一样大，和最大尺寸的iPad（12.9英寸）不相上下。

2021年4月，Cerebras推出WSE-2，据官方数据，第二代芯片拥有2.6万亿个晶体管和85万个核心，相较第一代晶体管数、内核数、内存等增加一倍以上。其核心面积是46225mm²，是彼时最大的GPU核心面积（826mm²）的56倍。

一片芯片上拥有更多晶体管，也意味着更大的算力与内存优势。以AI处理器英伟达A100作比较，WSE-2多2.55万亿个晶体管，内核数是其123倍，缓存是其1000倍，内存带宽是其13万倍。

2022年，Cerebras的发明被硅谷计算机历史博物馆收藏，是世界上最大的计算机芯片。

图源：Cerebras

从实际运用的角度来看，Cerebras所支撑的训练量能更大。

人脑包含100万亿个突触结构，生成式AI大模型GPT-4支持参数为1.8万亿，类同于同等数量突触的1%。Cerebras基于单个WES-2芯片推出AI解决方案CS-2计算机，可以支持超过120万亿参数规模的训练，在规模上达到了人脑水平。

2022年6月，Cerebras用CS-2训练了200亿参数的NLP模型，显著降低需要数千个GPU训练的成本。

也就是说，一个CS-2相当于整个GPU集群效果。Cerebras首席架构师Sean Lie在Hot Chips 2020表示，那些从前需要使用GPU/TPU机架的工作可以以计算相关的方式在单个WSE上运行。

虽然算力强悍，但Cerebras的WSE芯片单颗售价与其同类解决方案的英伟达SuperPOD（组合1000个GPU）售价都在百万美元级别。美国匹兹堡超级计算中心（PSC）购入过两套CS-1系统，总价为500万美元。

即使价格不菲，Cerebras的计算机也有大客户积极“囤货”。

美国阿贡国家实验室、劳伦斯利弗莫尔国家实验室、匹兹堡超算中心、爱丁堡大学超算中心等科研机构、葛兰素史克、东京电子器件等厂商等都是Cerebras的忠实客户。

今年7月，阿联酋集团G42跟Cerebras签署了一项价值1亿美元的协议，欲购买其9台互联的超级计算机组成的网络。Condor Galaxy 1（CG-1）是其中第一台，该计算机由64台CS-2AI计算机组成，AI算力高达4 exaFLOPS（每秒4百亿亿次），CG系列之后的AI超级电脑将于2024年上线。

Andrew Feldman称，CG-1只需要几分钟便能生成人工智能模型，并且能由1个人完成。

强大又便宜的训练能力

Cerebras的芯片拥有强大的神经网络训练能力，并宣布在 Apache-2.0协议下开源了7个GPT模型的Cerebras-GPT，参数涵盖 1.11 亿、2.56 亿、5.9 亿、13 亿、27 亿、67 亿和 130 亿。开放模型架构、训练算法和权重等内容供研究及商业社区免费使用。

并且，Cerebras也面向潜在客户强调其芯片训练时间段，是已公开大模型中生产性价比最高的方案。

而OpenAI是否会将Cerebras作为收购目标，还有待商榷。

OpenAI面临大模型训练需求逐日增加，英伟达GPU短缺且价格昂贵的困境。Cerebras的强算力的AI芯片能适应其更迭需求，推进研发进程。早期投资Cerebras的Sam Altman也曾表示其神经拟态方法能大幅度降低AI开发成本，并为实现真正的通用人工智能提供帮助。此外，Cerebras的创始团队含金量较高，有利于克服OpenAI在产品架构方面的技术难题。

此外，从OpenAI致力于实现的AGI目标来看，尽管WSE是一款晶圆级芯片，但也有不能处理的情况，百万美元级AI超级计算机还有英伟达的SuprPod和Selene是更合适的替代。Tirias Research首席分析师Jim McGregor认为：“与英伟达相比，Cerebras更像是一个小众平台，二者的广度无法相提并论。”

另外，在Andrew Feldman在访谈中可以看出，Cerebras当前仍致力于研究。“如何最大限度减少运行中的功耗，并不会做阻止公司朝目标前进的工作。”