Redian新闻
>
英伟达最强CPU,芯片架构深入解读

英伟达最强CPU,芯片架构深入解读

公众号新闻

来源:内容由半导体行业观察(ID:icbank)编译自英伟达,谢谢。

NVIDIA Grace CPU是 NVIDIA 开发的第一款数据中心 CPU。通过将 NVIDIA 专业知识与 Arm 处理器、片上结构、片上系统 (SoC) 设计和弹性高带宽低功耗内存技术相结合。


NVIDIA Grace CPU 从头开始构建,以创建世界上第一个用于计算的超级芯片(super chip)。超级芯片的核心是NVLink Chip-2-Chip (C2C),它允许 NVIDIA Grace CPU 以 900 GB/s 的双向带宽与超级芯片中的另一个 NVIDIA Grace CPU 或NVIDIA Hopper GPU进行通信。



NVIDIA Grace Hopper Superchip将节能、高带宽的 NVIDIA Grace CPU 与功能强大的 NVIDIA H100 Hopper GPU 结合使用 NVLink-C2C,以最大限度地提高强大的高性能计算 (HPC) 和巨型 AI 工作负载的能力。


NVIDIA Grace CPU 超级芯片是使用两个通过 NVLink-C2C 连接的 Grace CPU 构建的。该超级芯片建立在现有 Arm 生态系统的基础上,为 HPC、要求苛刻的云工作负载以及高性能和高能效的密集基础设施创建了首个毫不妥协的 Arm CPU。 


在本文中,您将了解 NVIDIA Grace CPU 超级芯片以及提供 NVIDIA Grace CPU 性能和能效的技术。有关详细信息。


图 1. 与双插槽 Milan 7763 CPU 相比,NVIDIA Grace CPU Superchip 上应用程序的性能和节能效果


专为 HPC 和 AI 工作负载打造的超级芯片 


NVIDIA Grace CPU 超级芯片通过将旗舰双路 x86-64 服务器或工作站平台提供的性能水平集成到单个超级芯片中,代表了计算平台设计的一场革命。高效的设计可在较低的功率范围内实现 2 倍的计算密度。 



NVIDIA Grace CPU 旨在提供高单线程性能、高内存带宽和出色的数据移动能力,每瓦性能领先。NVIDIA Grace CPU Superchip 结合了两个连接超过 900 GB/s 双向带宽 NVLink-C2C 的 NVIDIA Grace CPU,提供 144 个高性能 Arm Neoverse V2 内核和高达 1 TB/s 带宽的数据中心级 LPDDR5X 内存,带纠错码( ECC)内存。 


图2. 具有 900 GB/s NVLink-C2C 的 NVIDIA Grace CPU 超级芯片


使用 NVLink-C2C 互连缓解瓶颈


为了扩展到 144 个 Arm Neoverse V2 内核并在两个 CPU 之间移动数据,NVIDIA Grace CPU Superchip 需要在 CPU 之间建立高带宽连接。NVLink C2C 互连在两个 NVIDIA Grace CPU 之间提供高带宽直接连接,以创建 NVIDIA Grace CPU 超级芯片。 


使用 NVIDIA Scalable Coherency Fabric 扩展内核和带宽


现代 CPU 工作负载需要快速的数据移动。由 NVIDIA 设计的可扩展一致性结构 (SCF) 是一种网状结构和分布式缓存架构,旨在扩展内核和带宽(图 3)。SCF 提供超过 3.2 TB/s 的总二分带宽,以保持数据在 CPU 内核、NVLink-C2C、内存和系统 IO 之间流动。 


CPU 核心和 SCF 缓存分区分布在整个网格中,而缓存交换节点通过结构路由数据并充当 CPU、缓存内存和系统 IO 之间的接口。NVIDIA Grace CPU 超级芯片在两个芯片上具有 234 MB 的分布式三级缓存。 


图3. NVIDIA Grace CPU 和可扩展一致性结构 


LPDDR5X 


能效和内存带宽都是数据中心 CPU 的关键组成部分。NVIDIA Grace CPU Superchip 使用高达 960 GB 的服务器级低功耗 DDR5X (LPDDR5X) 内存和 ECC。此设计为大规模 AI 和 HPC 工作负载实现了带宽、能效、容量和成本的最佳平衡。 


与八通道 DDR5 设计相比,NVIDIA Grace CPU LPDDR5X 内存子系统以每千兆字节每秒八分之一的功率提供高达 53% 的带宽,同时成本相似。HBM2e 内存子系统本可以提供大量内存带宽和良好的能效,但每 GB 成本是其 3 倍多,并且仅为 LPDDR5X 可用最大容量的八分之一。 


LPDDR5X 较低的功耗降低了整体系统功率要求,并使更多资源能够用于 CPU 内核。紧凑的外形使基于 DIMM 的典型设计的密度提高了 2 倍。 


NVIDIA Grace CPU I/O 


NVIDIA Grace CPU Superchip 支持多达 128 条用于 IO 连接的 PCIe Gen 5 通道。8 个 PCIe Gen 5 x16 链路中的每一个都支持高达 128 GB/s 的双向带宽,并且可以分为 2x8 个以提供额外的连接,并且可以支持各种 PCIe 插槽形状因数,开箱即用地支持NVIDIA GPU和NVIDIA DPU、NVIDIA ConnectX SmartNIC、E1.S 和 M.2 NVMe 设备、模块化 BMC 选项等。  


NVIDIA Grace CPU 核心架构 


为了实现最大的工作负载加速,快速高效的 CPU 是系统设计的重要组成部分。Grace CPU 的核心是 Arm Neoverse V2 CPU 内核。Neoverse V2 是 Arm V 系列基础架构 CPU 内核中的最新产品,经过优化可提供领先的每线程性能,同时与传统 CPU 相比提供领先的能效。 


图4. NVIDIA Grace CPU 的 Arm Neoverse V2 内核


Arm架构 


NVIDIA Grace CPU Neoverse V2 核心实现了 Armv9-A 架构,它将 Armv8-A 架构中定义的架构扩展到 Armv8.5-A。为 Armv8.5-A 之前的 Armv8 架构构建的任何应用程序二进制文件都将在 NVIDIA Grace CPU 上执行。这包括针对 Ampere Altra、AWS Graviton2 和AWS Graviton3等 CPU 的二进制文件。


SIMD指令


Neoverse V2 在 4×128 位配置中实现了两个单指令多数据 (SIMD) 向量指令集:可扩展向量扩展版本 2 (SVE2) 和高级 SIMD (NEON)。四个 128 位功能单元中的每一个都可以退出 SVE2 或 NEON 指令。这种设计使更多代码能够充分利用 SIMD 性能。SVE2 通过高级指令进一步扩展了 SVE ISA,这些指令可以加速机器学习、基因组学和密码学等关键 HPC 应用程序。 


原子操作 (Atomic operation )


NVIDIA Grace CPU 支持在 Armv8.1 中首次引入的大型系统扩展 (LSE)。LSE 提供低成本的原子操作,可以提高 CPU 到 CPU 通信、锁和互斥锁的系统吞吐量。这些指令可以对整数数据进行操作。所有支持 NVIDIA Grace CPU 的编译器都将在同步函数中自动使用这些指令,例如 GNU 编译器集合__atomic内置函数和std::atomic. 当使用 LSE 原子而不是加载/存储独占时,改进可以达到一个数量级。 


Armv9 附加功能 


NVIDIA Grace CPU 实现了 Armv9 产品组合的多项关键功能,可在通用数据中心 CPU 中提供实用程序,包括但不限于加密加速、可扩展分析扩展、虚拟化扩展、全内存加密、安全启动等。 


NVIDIA Grace CPU 软件 


NVIDIA Grace CPU Superchip 旨在为软件开发人员提供符合标准的平台。 


NVIDIA Grace CPU 符合 Arm 服务器基础系统架构 (SBSA),以支持符合标准的硬件和软件接口。此外,为了在基于 Grace CPU 的系统上启用标准引导流程,Grace CPU 被设计为支持 Arm 服务器基本引导要求 (SBBR)。所有主要的 Linux 发行版,以及它们提供的大量软件包,都可以在 NVIDIA Grace CPU 上完美运行,无需修改。


编译器、库、工具、分析器、系统管理实用程序以及用于容器化和虚拟化的框架现已上市,并且可以像在任何其他数据中心 CPU 上一样轻松地在 NVIDIA Grace CPU 上安装和使用。


此外,整个 NVIDIA 软件堆栈都可用于 NVIDIA Grace CPU。NVIDIA HPC SDK 和每个 CUDA 组件都有 Arm 原生安装程序和容器。NVIDIA GPU Cloud (NGC) 还提供深度学习、机器学习和针对 Arm 优化的 HPC 容器。NVIDIA Grace CPU 遵循主流 CPU 设计原则,并且与任何其他服务器 CPU 一样进行编程。


图 5. NVIDIA Grace CPU 软件生态系统将用于 CPU、GPU 和 DPU 的全套 NVIDIA 软件与完整的 Arm 数据中心生态系统相结合


附:英伟达Grace Hopper Superchip白皮书原文





★ 点击文末【阅读原文】,可查看本文原文链接!

*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。


今天是《半导体行业观察》为您分享的第3287内容,欢迎关注。

推荐阅读


低功耗AI芯片的明争暗斗

英特尔3nm,加入战局!

CUDA正在被赶下神坛?


半导体行业观察

半导体第一垂直媒体

实时 专业 原创 深度


识别二维码,回复下方关键词,阅读更多

晶圆|集成电路|设备|汽车芯片|存储|台积电|AI|封装

回复 投稿,看《如何成为“半导体行业观察”的一员 》

回复 搜索,还能轻松找到其他你感兴趣的文章!

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
倪光南院士:RISC-V是中国CPU领域最受欢迎的架构3天3刷《流浪地球2》后,深入解读一下10个隐藏剧情问题深度解读AMD的GPU架构“哈耶普斯麻”在读生高达394人!加拿大私校体系创始人,深入解读:加拿大择校/学签/陪读!飞腾系和鲲鹏系:国产Arm架构CPU服务器正在崛起树下深入解读:英伟达最强异构平台英伟达助力富士康造车,芯片与果链两大巨头强强联合!「B站焊武帝」再出圈!孤身爆肝造CPU,软硬件全自研,可玩游戏,基础器件成本不到1000元中央财办有关负责同志就中央经济工作会议精神和当前经济热点问题作深入解读AMD ZEN 4架构深入解读一键抹去瑕疵、褶皱:深入解读达摩院高清人像美肤模型ABPN美股芯片财报季,芯片周期何时见底?柿话柿说,柿柿留心(7)怪柿(事)连连GPU出货量现20年来最大跌幅!英伟达游戏显卡价格腰斩,AMD仍在观望英伟达 RTX 4090 笔记本 GPU 曝光:桌面 RTX 4080 规格世界杯最强CP!这份吃货球迷的美食秘笈,千万别错过喝水与喝汤的学问做出味道被赤身裸体的邻居骚扰英特尔推最强数据中心CPU,甩出七大算力神器!还有1000亿晶体管GPU俄罗斯 CPU,遇到巨大障碍深入解读美国移民局两份“大礼”英伟达 RTX 40 系列笔记本 GPU 的 TGP 和频率曝光,RTX 4090 最高可达 200WAI技术深入EDA,芯片设计效率的又一场革命!消息称英伟达将修改 RTX 4070 规格,不再基于 AD104-275 GPU分布式软件跨X86/ARM CPU混合架构部署苹果芯片设计师霸气官宣,芯片性能节节走高国产32核服务器CPU验证成功!100%自主指令架构,单机最多可支持四路128核,来自龙芯中科英特尔最强CPU曝光:334内核财报解读丨英伟达:GPU业务前景大幅走弱,四季度营收利润均大幅下滑三巨头激战GPU:芯片架构全面剖析高通骁龙 8cx Gen4 笔记本处理器新爆料:12 核 CPU,骁龙 8 Gen 2 同款 GPU芯片架构标准首次由中国企业牵头/ 周鸿祎建议大学生做AI训练师/ 港科大不禁ChatGPT…今日更多新鲜事在此深入解读Grace CPU芯片架构
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。