Redian新闻
>
Jim Keller究竟在做什么芯片?

Jim Keller究竟在做什么芯片?

科技

由行业偶像Jim Keller掌舵的初创公司Tenstorrent组建了一支一流的AI和CPU工程师团队,制定了涉及通用处理器和人工智能加速器的宏伟计划。


目前,该公司正在研发业界首款能够同时处理客户端和HPC工作负载的8宽解码RISC-V内核,该内核将首先用于面向数据中心的128核高性能CPU。该公司还有多代处理器的路线图,我们将在下面介绍。



为什么是 RISC-V?


我们最近与Tenstorrent的首席CPU架构师Wei-Han Lien就公司的愿景和路线图进行了交谈。Lien 拥有令人印象深刻的背景,曾在 NexGen、AMD、PA-Semi、Apple 工作过,最著名的可能是他在Apple的A6、A7(世界上第一款64位Arm SoC)和M1 CPU微架构和实施方面的工作。 



公司有许多在 x86 和 Arm 设计方面拥有丰富经验的世界级工程师,有人可能会问为什么 Tenstorrent 决定开发 RISC-V CPU,因为这种指令集架构 (ISA) 的数据中心软件堆栈不如 x86和Arm 的全面。Tenstorrent 给我们的答案很简单:x86 由 AMD 和 Intel 控制,而 Arm 由 Arm Holding 控制,这限制了创新的步伐。 


“世界上主要只有两家公司可以生产 x86 CPU,”Wei-Han Lien 说。“由于 x86 许可限制,创新基本上由一两家公司控制。当公司变得非常大时,它们就会变得官僚化,创新的步伐 [ 放缓 ]。[...] Arm 有点类似。他们声称他们就像一家 RISC-V 公司,但如果你看一下他们的规范,[它] 变得如此复杂。它实际上也有点由一位架构师主导。[…] Arm 有点规定所有可能的场景,甚至是架构[许可]合作伙伴。” 


相比之下,RISC-V发展迅速。据Tenstorrent称,由于它是一个开源ISA,因此使用它进行创新更容易、更快速,尤其是在涉及新兴和快速开发的 AI 解决方案时。 


“我一直在为 [Tenstorrent 的] AI 解决方案寻找配套的处理器解决方案,然后我们想要 BF16 数据类型,然后我们去找Arm说,'嘿,你能支持我们吗?' 他们说‘不’,这可能需要两年的内部讨论以及与合作伙伴的讨论等等,”Lien 解释道。“但我们和 SiFive 谈过;他们只是把它放在那里。所以,没有限制,他们为我们建造了它,这是自由的。” 


一方面,Arm Holding 的方法确保了高质量的标准和全面的软件堆栈,但这也意味着 ISA 创新的步伐变慢,这对于AI处理器等新兴应用来说可能是一个问题,这些应用旨在得到快速发展。 


一个微架构,一年五个 CPU IP


由于Tenstorrent着眼于并解决整个AI应用,它不仅需要不同的片上系统或系统级封装,还需要各种CPU微架构实现和系统级架构来实现不同的功率和性能目标。这正是Wei-Han Lien 的部门所致力于解决的问题。 


不起眼的消费电子SoC和强大的服务器处理器几乎没有共同之处,但可以共享相同的ISA和微体系结构(管实现方式不同)。这就是Lien的团队发挥作用的地方。Tenstorrent 表示,公司CPU团队开发了一种无序 RISC-V 微架构,并以五种不同的方式实现它,以解决各种应用程序的问题。



Tenstorrent现在有五种不同的RISC-V CPU核心IP——具有两宽、三宽、四宽、六宽和八宽解码——用于其自己的处理器或许可给感兴趣的各方。对于那些需要非常基本的CPU的潜在客户,该公司可以提供具有两个宽度执行的小内核,但对于那些需要更高性能的边缘、客户端PC和高性能计算的客户,它有六个宽度的Alastor和八个宽Ascalo 内核。  


每个带八位解码的乱序Ascalon ( RV64ACDHFMV) 内核都有六个ALU、两个FPU和两个256位向量单元,使其非常强大。考虑到现代x86设计使用四宽 (Zen 4) 或六宽 (Golden Cove) 解码器,我们正在寻找一个非常强大的内核。 


Wei-Han Lien 是负责苹果“宽”CPU 微架构的设计师之一,该架构每个时钟最多可执行8条指令。例如,Apple的A14和M1 SoC具有八个宽的高性能 Firestorm CPU内核,在推出两年后,它们仍然是业内最节能的设计之一。Lien 可能是业界“宽”CPU微架构方面最好的专家之一,据我们所知,他是唯一一位领导工程师团队开发八宽RISC-V高性能CPU内核的处理器设计师。 


除了各种RISC-V通用内核外,Tenstorrent还拥有为神经网络推理和训练量身定制的专有 Tensix 内核。每个 Tensix 内核包含五个RISC内核、一个用于张量运算的数组数学单元、一个用于矢量运算的SIMD单元、1MB或 2MB的 SRAM,以及用于加速网络数据包运算和压缩/解压缩的固定功能硬件。Tensix内核支持多种数据格式,包括BF4、BF8、INT8、FP16、BF16,甚至 FP64。


令人印象深刻的路线图


目前,Tenstorrent 有两种产品:一种称为Grayskull的机器学习处理器,可提供约315 INT8 TOPS的性能,可插入PCIe Gen4插槽,以及网络Wormhole  ML处理器,具有约 350 INT8 TOPS 的性能并使用GDDR6 内存子系统,一个PCIe Gen4 x16接口,并具有与其他机器的400GbE连接。 



这两种设备都需要一个主机CPU,可以作为附加板使用,也可以在预构建的 Tenstorrent 服务器中使用。一台包含32个 Wormhole ML卡的4U Nebula服务器在6kW时提供大约12 INT8 POPS的性能。



今年晚些时候,该公司计划推出其第一个独立的CPU+ML解决方案——Black Hole——结合了24个SiFive X280 RISC-V内核和多个第三代Tensix内核,这些内核使用两个在机器的相反方向运行的2D环面网络互连学习工作量。该设备将提供1 INT8 POPS的计算吞吐量(与其前身相比性能提升约三倍)、八个GDDR6内存通道、1200 Gb/s以太网连接和PCIe Gen5通道。 



此外,该公司期待为双芯片解决方案以及未来使用添加2TB/s 的die to die接口。该芯片将采用6nm级制造工艺(我们预计它是台积电N6,但 Tenstorrent 尚未证实这一点),但在600mm²时,它将比台积电12nm级节点生产的前代产品更小. 需要记住的一件事是,Tenstorrent 尚未开发出其 Blackhole,其最终功能集可能与公司今天披露的不同。 


明年,该公司将发布其终极产品:名为Grendel的多小芯片解决方案,该解决方案具有自己的Ascalon通用内核,具有自己的RISC-V微架构,具有八位解码器以及用于ML工作负载的基于 Tensix 的小芯片。  


Grendel 是 Tenstorrent 将于明年发布的终极产品集:多chiplet 解决方案包括一个具有高性能 Ascalon 通用内核的 Aegis chiplet 和一个或多个具有用于 ML 工作负载的 Tensix 内核的 chiplet。根据业务需求(以及公司的财务能力),Tenstorrent 可以使用 3nm 级工艺技术实现AI chiplet,从而利用更高的晶体管密度和Tensix核心数,或者它可以继续使用 Black Hole chiplet进行AI工作负载(甚至将一些工作分配给24个 SiFive X280内核,该公司表示)。小芯片将使用上述 2TB/s 互连相互通信。 


Aegis小芯片具有128个通用 RISC-V八宽Ascalon内核,组织在四个32核集群中,具有集群间一致性,将使用3nm级工艺技术制造。事实上,Aegis CPU小芯片将率先使用3纳米级制造工艺,这可能会使该公司在高性能CPU设计方面名列前茅。 


同时,Grendel 将使用LPDDR5内存子系统、PCIe和以太网连接,因此它将提供比公司现有解决方案明显更高的推理和训练性能。说到Tensix内核,需要注意的是,虽然Tenstorrent的所有AI内核都被称为Tensix,但这些内核实际上是在进化的。



“[Tensix]的变化是渐进的,但它们确实存在,”该公司创始人Ljubisa Bajic 解释道。“[他们添加了]新的数据格式、FLOPS/SRAM 容量的变化比率、SRAM 带宽、片上网络带宽、新的稀疏特性以及一般特性。”



有趣的是,不同的Tenstorrent幻灯片提到了Black Hole和Grendel产品的不同内存子系统。这是因为该公司一直在寻找最高效的内存技术,并且因为它获得了DRAM控制器和物理接口 (PHY) 的许可。因此,它在选择确切的内存类型时具有一定的灵活性。事实上,Lien 表示,Tenstorrent也在为未来的产品开发自己的内存控制器,但对于2023~2024年的解决方案,它打算使用第三方的MC和PHY。同时,出于本考虑,目前Tenstorrent不打算使用任何奇特的内存,例如HBM。 


商业模式:销售解决方案和许可 IP


虽然 Tenstorrent 有五个不同的CPU IP(尽管基于相同的微架构),但它只有 AI/ML 产品在流水线中(如果不考虑完全配置的服务器)使用SiFive的 X280 或 Tenstorrent 的八宽 Ascalon CPU 内核. 因此,有理由问为什么它需要这么多的CPU内核实现。 



对这个问题的简短回答是,Tenstorrent 有一个独特的商业模式,包括 IP 许可(以 RTL、硬宏,甚至 GDS 形式)、销售小芯片、销售附加 ML 加速卡或具有 CPU 和 ML 小芯片的 ML 解决方案,并销售包含这些卡的完全配置的服务器。  


构建自己的 SoC 的公司可以授权 Tenstorrent 开发的 RISC-V 核心,广泛的 CPU IP 组合使公司能够竞争需要不同级别性能和功率的解决方案。  


服务器供应商可以使用 Tenstorrent 的 Grayskull 和 Wormhole 加速器卡或 Blackhole 和 Grendel ML 处理器来构建他们的机器。同时,那些不想构建硬件的实体可以购买预构建的 Tenstorrent 服务器并进行部署。 


这种商业模式看起来有些争议,因为在许多情况下,Tenstorrent 与自己的客户竞争并将竞争。然而,归根结底,如Nvidia 等厂商提供了基于这些主板的附加卡和预制服务器,而且戴尔或 HPE 等公司似乎并不太担心这一点,因为它们为特定客户提供解决方案,而不仅仅是积木。


 总结 


大约两年前,随着 Jim Keller 的聘用,Tenstorrent 一跃成为人们关注的焦点。在两年内,该公司招募了一批顶尖工程师,他们正在为数据中心级 AI/ML 解决方案和系统开发高性能 RISC-V 内核。开发团队的成就包括全球首个八位 RISC-V 通用 CPU 内核,以及可用于 AI 和 HPC 应用的适当系统硬件架构。 


该公司有一个全面的路线图,包括基于 RISC-V 的高性能 CPU 小芯片和先进的 AI 加速器小芯片,它们有望为机器学习提供功能强大的解决方案。请记住,AI 和 HPC 是有望实现爆炸式增长的主要大趋势,提供 AI 加速器和高性能 CPU 内核似乎是一种非常灵活的商业模式。 


AI 和 HPC 市场竞争激烈,因此当您想与老牌竞争对手(AMD、英特尔、Nvidia)和新兴玩家(Cerebras、Graphcore)竞争时,必须聘请一些世界上最优秀的工程师。与大型芯片开发商一样,Tenstorrent 拥有自己的通用 CPU 和 AI/ML 加速器硬件,这是得天独厚的优势。同时,由于该公司使用 RISC-V ISA,因此目前无法解决一些市场和工作负载,至少就 CPU 而言是这样。 


👇👇 点击文末【阅读原文】,可查看原文链接!

*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。


今天是《半导体行业观察》为您分享的第3357内容,欢迎关注。

推荐阅读


戈登·摩尔留给我们的“遗产”

存储三巨头,太难了!

什么是计算光刻?


半导体行业观察

半导体第一垂直媒体

实时 专业 原创 深度


识别二维码,回复下方关键词,阅读更多

晶圆|集成电路|设备|汽车芯片|存储|台积电|AI|封装

回复 投稿,看《如何成为“半导体行业观察”的一员 》

回复 搜索,还能轻松找到其他你感兴趣的文章!

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
Meta,在自研什么芯片?AI 新职业,都是在做什么美国将与印度合作造芯片?红杉高管:非常看好印度芯片Wells Fargo Choice Privileges Select 信用卡:新卡发布,90k 开卡奖励Jim Keller,将成为黄仁勋的最强对手?当我们谈论休假时,我们究竟在谈什么?领悟圣经的新亮点从亲自下场到做幕后推手,家电巨头们究竟在医疗市场“卷”什么?Supercell工程师演讲:Supercell的渲染现代化过程Stakes High as China’s Game Makers Gamble on Overseas Markets烧香、请法物、打坐念经…年轻人究竟在寺庙安什么心?​在电影上映后的半年多时间里,陈冲都在做什么?Jim Keller最新采访:谈RISC-V、Chiplet和AI薄如蝉翼的美味Best是“最好的”,seller是“销售员”,best-seller可不是“最佳销售员”!不破楼兰终不还,古诗中常说的楼兰究竟在哪?灭亡的原因又是什么Brokerage Apps Allowing Overseas Trading Pulled From App Stores这5家头部AI药企在做什么?想做什么?失眠日记 2013.1.30壮观!多伦多数百人排队到凌晨3点 他们究竟在排什么?水木然的线下课究竟在讲什么?有什么魔力?很多人意识不到这个有多严重: Jim Crow is back最先抵达元宇宙的那批人,正在做什么?西雅图看房日记|Bellevue Lake Hills自住房俄乌在巴赫穆特,究竟在“磨蹭”什么唐小强,你最后一天在做什么Chinese Teams in Turkey: Rescue Over but Relief Will Take YearsWellesley College 麻州韦尔斯利女子学院 你赞同录取跨性别男子吗?科创潮涌,外资研发中心在做什么?全国各地呼吁捐精:「生殖焦虑」背后,我们究竟在怕什么?University Dean Sacked After Sharing Lewd Image With Colleagues比流浪地球更魔幻,比满江红更狗血Jim Keller公布:自研RISC-V处理器性能惊人,Raja Koduri “加盟”绕开北上广,"下沉"二三线,这些公募在做什么?树摇树,风吹风:远见导师在做什么?煮屁话禅茶(七)屁用不顶
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。