Redian新闻
>
全球GPU呈现“一超一强”竞争格局

全球GPU呈现“一超一强”竞争格局

公众号新闻

AI 服务器发展迅速,GPU 环节被英伟达与 AMD 所占据。AIGC 的发展带动AI 服务器迅速增长,TrendForce 集邦咨询预计 23 年 AI 服务器出货量约 120 万台,同比+38.4%,占整体服务器出货量的比约为9%2022~2026 年 AI 服务器出货量 CAGR 将达 22%,而 AI 芯片 2023 年出货量将成长 46%GPU 作为数据并行处理的核心,是 AI 服务器的核心增量。

本文来自“行业专题:GPU龙头产品迭代不断,产业链各环节持续催化”,全球GPU呈现“一超一强”的竞争格局,根据 IDC 数据,2021 英伟达在企业级 GPU 市场中占比 91.4%AMD 占比 8.5%

下载链接:

375+份重磅ChatGPT专业报告(合集)

行业专题:GPU龙头产品迭代不断,产业链各环节持续催化

超导行业深度:下个十年,奔向超导产业发展的星辰大海
深度报告:AI大模型落户矿山,智能化形成商业闭环
行业深度分析:AI服务器/EGS平台需求及PCB产业链解析


目前英伟达产品 DGX GH200 已发布,互连技术强大,算力进一步升级。5月 29 日,英伟达在其发布会上,正式发布最新的 GH200 Grace Hopper 超级芯片,以及拥有 256 个 GH200 超级芯片的 NVIDIA DGX GH200 超级计算机。

GH200超级芯片内部集成了 Grace CPU 和 H100 GPU,晶体管数量达 2000 亿个。其借助 NVIDIA NVLink-C2C 芯片互连,将英伟达 Grace CPU 与英伟达 H100 TensorCore GPU 整合。与 PCIe Gen5 技术相比,其 GPU 和 CPU 之间的带宽将提高 7倍,并将互连功耗减少至 1/5 以下。同时,DGX GH200 的 AI 性能算力将达到1 exaFLOPS

英伟达产品 DGX GH200 共享内存大幅提升,突破内存瓶颈。DGX GH200系统将 256 个 GH200 超级芯片与 144TB 的共享内存进行连接,进一步提高系统协同性。与 DGX H100 相比,DGX GH200 的共享内存提升约 230 倍。凭借强大的共享内存,GH200 能够显著改善受 GPU 内存大小瓶颈影响的 AI 和 HPC 应用程序的性能。而在具有 tb 级嵌入式表的深度学习推荐模型(DLRM)、tb 级图神经网络训练模型或大型数据分析工作负载中,使用 DGX GH200 可将速度提高47倍。

而 AMD 在美国时间 2023 年 月 13 日,推出其新款 AI 芯片 MI300 系列,两款芯片分别为 MI300A 与 MI300X,分别集成 14601530 亿个晶体管。MI300A内含 13 个小芯片,总共集成 1460 亿个晶体管,其内部包含 24 个 Zen 4 CPU 核心、个 CDNA 3 图形引擎和 128GB HBM3 内存;而 MI300X 是针对大预言模型的优化版本,其内存达 192GB,内存带宽为 5.2TB/sInfinity Fabric 带宽为896GB/s,晶体管达 1530 亿个。AMD 表示,与上代 MI 250 相比,MI300 的 AI性能和每瓦性能分别为 MI250 的 倍和 倍。

应用先进封装 Chiplet 技术与 HBM3,工艺技术驱动产品升级。在以往 CPUGPU 设计中,AMD 常利用其先进的封装堆叠技术,集成多个小核心,从而实现整体性能的提升。根据芯智讯,MI300 由 13 个小芯片整合而成,其中其计算部分由 个基于台积电 5nm 工艺制程的小芯片组成,这些小芯片包括了 CPU 和 GPU内核。3D 堆叠设计极大提升了 MI 300 的性能与数据吞吐量。同时,MI300 两侧排列着 个合计 128GB 的 HBM3 芯片,满足其海量且高速的数据存储需求。

AI 大模型等 AIGC 产业的升级离不开算力的底层支持,使得 GPU 等大算力芯片性能持续提升,带来产业链各环节增量。以英伟达 DGX H100 为例,其在GPU、互连技术、智能网卡、内存条、硬盘等结构上均较普通服务器有较大提升,同时其 PCB 的面积需求量与性能要求亦高于普通服务器。

1GPU:量价齐升,产业链最大增量。一般的普通服务器仅会配备单卡或双卡,而 AI 服务器由于需要承担大量的计算,一般配置四块或以上的 GPU。且AI大模型在训练与推理时的计算量巨大,中低端的GPU无法满足其运算需求。如在英伟达 DGX H100 中,其配备 个 NVIDIA H100 GPU,总 GPU 显存高达640GB;每个GPU配备18NVIDIA NVLinkGPU之间的双向带宽高达900GB/s。若以每个 NVIDIA H100 GPU 单价 万美元测算,DGX H100 的 GPU 价值量为32 万美元,为 AI 服务器中的最大增量。

2)硬盘:AI 服务器 NAND 数据存储需求提升 倍。AI 服务器的高吞吐量及训练模型的高参数量级亦推升 NAND 数据存储需求。美光估计,AI 服务器中NAND 需求量是传统服务器的 倍。一台 DGX H100 中,SSD 的存储容量达 30TB

3)内存:AI 服务器 DRAM 数据存储需求提升 倍,HBM 需求快速提升。以 HBM 为主要代表的存算一体芯片能够通过 2.5D/3D 堆叠,将多个存储芯片与处理器芯片封装在一起,克服单一封装内带宽的限制、增加带宽、扩展内存容量、并减少数据存储的延迟。根据公众号全球 SSD,三星 2021 年 月与 AMD 合作开发 HBM-PIM,将内存和 AI 处理器合而为一,在 CPU 和 GPU 安装 HBM-PIM,显著提高服务器运算速度。2023 年开年后,三星高带宽存储器(HBM)订单快速增加。SK 海力士亦在 2021 年 10 月成功开发出 HBM3,并于 2022 年 月开始量产,在 2022 年第三季度向英伟达进行供货。同时,美光估计,AI 服务器中 DRAM需求量是传统服务器的 倍。如在一台 DGX H100 中,内存容量达 2TB

4PCBAI 服务器 PCB 明确受益 AI 算力提升。目前普通服务器需要 6-16层板和封装基板,而 AI 服务器等高端服务器主板层数则达 16 层以上,背板层数超过 20 层。且除 GPU 外,服务器中主板、电源背板、硬盘背板、网卡、Riser卡等核心部分均需使用 PCB 板进行数据传输。服务器出货量的增加将推动 PCB需求量的提升。

5)先进封装:高制程芯片设计成本与制造成本均呈现指数型的增长趋势,Chiplet 等先进封装应运而生。随着制程的提升,芯片成本的提升呈现指数型增长。以芯片设计为例,根据 UCIE 白皮书,28nm 制程的芯片设计成本约 0.51 亿美元,但当制程提升至 5nm 时,芯片设计成本则快速升至 5.42 亿美元,成本提升近十倍,先进制程的推进速度愈加缓慢。因此在 HPC 高性能计算领域,Chiplet 的重要性持续提升。

目前,以 CoWoS 为代表的高性能计算先进封装产能紧缺,制约 GPU 产品货。英伟达 A100H100 GPU 均采用台积电 CoWoS 先进封装工艺。而根据科创板日报与台湾电子时报,英伟达将原定今年 Q4 的先进封装 CoWoS 产能,改为 Q2-Q4 平均分配生产,订单生产时间较原计划大大提前。目前,台积电 CoWoS封测产能供不应求,部分订单已外溢日月光、矽品与 Amkor、联电等。以 CoWoS 为代表的先进封装技术产能紧缺,已成为制约 GPU 生产的关键环节。

下载链接:

算力大时代,AI算力产业链全景梳理(2023)

AI算力行业深度:GPU全球格局分析(2023)
人工智能行业报告:AI2.0、AI大模型、算力、AI赋能(2023)

《AI专题研究报告合集》

1、AI系列专题研究报告:台股AI服务器启示录(2023)

2、AI专题研究报告:AI算力研究框架(2023)

电子行业研究:什么是空间计算平台?

电子行业研究框架(2023)

《人工智能大模型专题研究合集》

1、人工智能专题研究(1):大模型推动各行业AI应用渗透 

2、人工智能专题研究(2):AI大模型打开AI芯片、光模块和光芯片需求

智算中心网络架构白皮书(2023)

华为产业链深度系列研究合集(2023)

《70+篇半导体行业“研究框架”合集》

《42份智能网卡和DPU合集》

《375份重磅ChatGPT专业报告》


转载申明:转载本号文章请注明作者来源,本号发布文章若存在版权等问题,请留言联系处理,谢谢。

推荐阅读

更多架构相关技术知识总结请参考“架构师技术全店资料打包汇总(全)(39本全)”相关电子书已经更新至39本,持续更新中。
1、下单“架构师技术全店资料打包汇总(全)”,包含服务器基础知识全解(终极版)pdf及ppt版本,价格仅收239元(原总价399元)。

2、随着电子书数量增加及内容更新,价格会随之增加,所以现在下单最划算,购买后续可享全店内容更新“免费”赠阅。


温馨提示:

扫描二维码关注公众号,点击阅读原文链接获取架构师技术全店资料打包汇总(全)电子书资料详情


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
英伟达卖软件,微软造芯片,大模型竞争格局生变竞争激烈的汽车存量格局中 快手甩出一份解决方案大模型的竞争格局与产品经理的未来机遇AI全球竞争格局马斯克将自研AI芯片:类似GPU,但不是GPUDPU与智能网卡技术公开课上新!三位技术大牛主讲开源DPU、内生安全智能网卡与DPU云化裸金属英特尔演示酷睿 Ultra 1 代笔记本:关闭 CPU / GPU 模块,使用 SoC 模块播放 1080p 视频华语片《人海同游》入围第28届釜山电影节“新浪潮”竞赛单元我看那些撈到錢的腐敗分子一文搞懂 GPU 的概念、工作原理,以及与 CPU 的区别GPT-5出世,需5万张H100!全球H100总需求43万张, 英伟达GPU陷短缺风暴台风天,他们走私数千个 CPU、GPU和存储芯片【固定收益】港口企业:商业模式与竞争格局澳中总理举行正式会晤!艾博年确认年内访华,两国关系呈现“积极势头”高盛观点 | 将男女就业差距减半或可令全球GDP增长6%2023服务器产业链及市场竞争格局国人为什么爱抱团全球GPU缺口超40万张!算力之困,中国大模型有解了HBM崛起:从GPU到CPU欧洲AI市场竞争新格局,新一轮科技革命谁主沉浮?语言模型做先验,统一强化学习智能体,DeepMind选择走这条通用AI之路将廉价的AMD CPU变成16GB GPU只因维州这一强制要求,墨尔本教师住院90天,至今未康复!联想旗舰游戏笔记本 Legion 9i 曝光:RTX 40 系列 GPU + 酷睿 i9 HX CPU老烟记事(354) 小巫见大巫我与孙儿比童年 冷明最高32核CPU、80核GPU,苹果M3 Ultra芯片规格曝光工信部:加强CPU、GPU和服务器等重点产品研发,增强算力产业自主创新能力AMD王宏强:700亿参数大模型单个GPU部署,做好AI软件和生态实现“开箱即用”丨GACS 2023基于AI和NPU的Codec变革——VPU与NPU的协同创新在这里,如何用声音呈现“炸裂”演技?GPU微架构、性能指标、场景、生态链及竞争格局(2023)2023海南新浪潮青年作者影像展丨“心潮逐浪”竞赛单元 终审评审团阵容公布2023年CPU&GPU天梯图(最新版)普京的秘密(2)——化学武器和间谍(3)
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。