6颗芯片1500美元，“困死”人工智能

2024-05-23 01:05

文章来源于腾讯科技

作为一名“AI政治家”，山姆·奥特曼频繁地出现在全球各大科技、经济活动的演讲台，言必称“算力”。

我在《黄仁勋“人肉快递”，掀起900亿美元算力争夺战》中也提到，来源无非两种路径：买和自研。现在，硅谷巨头们基本都是两条腿走路，一边买、一边下场自研，连苹果也被传出和台积电搞了4年的推理芯片项目ACDC（Apple Chip in Data Center）。

主流GPU供应商包括英伟达、AMD、Intel这几家，但每年数百万颗GPU能够生产出来的前提，是上游的供应商能够提供足够的零部件，比如最为关键的HBM存储芯片。

以H200为例，1颗逻辑芯片要搭配6颗HBM存储芯片，所以我在标题里才强调“这6颗芯片，‘困死’人工智能”。

到GB200，1颗逻辑芯片要搭配8颗HBM存储芯片，整体需求会在现有的基础上增长30%以上。TrendForce预计2025年GB200的出货量将达到100万颗，单单这一款产品，对HBM存储的需求就将达到800万颗。

AI带火HBM

HBM（High Bandwidth Memory），中文翻译过来即高带宽内存，由于这几年的GPU产品大量的采用而火起来（如下图），但实际上它也不算特别新的概念，2013年就被固态技术协会定位行业标准。

主要GPU厂商的主流产品对应的HBM型号，来源：TrendForce

2015年，AMD Radeon R9 Fury X全行业首次应用HBM内存，但由于当时深度学习向量计算需求还没有爆发，且HBM与GPU/CPU封装在一起，相比DDR内存容量还小，作为早期技术成本太高而无法在消费级产品上大规模的应用。

高到什么程度呢？AMD RX Vega当时搭载了2颗HBM2内存，BOM成本大概是160美元，单颗成本80美元，数倍于GDDR5 / GDDR5X，TrendForce预估HBM的单价是DDR的5倍，而且HBM的价格随着算力需求的上升也在不断上涨，这个差距还会进一步拉大。

贵，还不得不用，问题在于处理器和内存之间的数据交换存在瓶颈。

相比主流的存储方案，HBM的高带宽，在解决数据交换瓶颈上具有天然的优势。根据Embedded整理的数据，16GB的HBM2e每个堆栈的带宽达到460.8GB/s。

架构上，传统方案一般为存算分离架构，处理器是处理器，内存是内存，存储颗粒和逻辑芯片分开，而采用3D堆叠的HBM内存，则通过CoWoS与逻辑芯片封装在一起。

1GB GDDR5和1GB HBM的die size对比，来源：网络

从视觉上来看，CoWoS封装的直接收益就是GPU的尺寸更小，当然HBM内存本身尺寸就很小，同样是1GB存储，GDDR5的尺寸大概在672mm²，而HBM只有35mm²，差距接近20倍。

这种尺寸上的差距，在PCB板上表现的更为明显，比如R9 290X，芯片+内存搭配的PCB板面积达到9900mm²，而采用CoWos封装方案，总面积不到4900mm²，占PCB板的面积少了近一半。

GDDR5与HBM存储性能差异，来源：AMD

基于3D堆叠和CoWoS封装，HBM的显存带宽得到了大幅度的提升，2015年，AMD官方提供了一张HBM和GDDR5对比的PPT（如上图），AMD将HBM称之为“一种不同于GDDR5的内存”，清楚的描述了基于硅通孔（TSV）技术的HBM内存，在位宽、带宽以及工作电压上二者的差异。

一句话简要总结，HBM解决了大量数据计算面临的最核心的带宽问题，同时在尺寸和功耗上比GDDR5也有明显的优势。

3000美元，HBM成本占一半

单纯说HBM内存价格贵，你可能没有概念，如果将其放在整个GPU的成本里来看，就直观了。

H100的BOM成本预计在3000美元左右，80GB的HBM存储大致1500美元，即18.75美元/GB，核心的逻辑芯片大致300美元左右，SXM模组成本在300美元以下，封装基板和CoWoS大约300美元。

也就是说，存储的总成本占一颗GPU物料成本的一半。

目前，主流供应商都加快扩产节奏，SK海力士预计今年产能会翻一倍。三星则最为激进，今年CES上，三星预计全年HBM产能将提升2.4倍，到3月底的MEM大会上，又将这一预期拉高到了2023年的2.9倍，而2026年和2028年，分别将提升至2023年的13.8倍和23.1倍。

SK海力士、三星和美光们拉高HBM的产能应对GPU客户的需求，但今年和明年的现有产能基本都被抢空。

去年12月份，韩国媒体披露称英伟达向SK海力士和美光下了13亿美元的订单，而知名硬件网站tomshardware援引这则消息，推算称这笔预算大致在10.8 亿美元到 15.4 亿美元之间，并且是为了保证H200这款产品的HBM供应安全。

按前面的BOM成本，一颗GPU搭配的6颗HBM成本为1500美元，这笔预算也只能满足86.6万颗H200的HBM内存需求。

2022-2024 HBM市场份额，来源：TrendForce

TrendForce去年8月份梳理过近三年HBM的市场份额情况（如上表），SK海力士和三星一直是市场上的主角，其中SK海力士是英伟达HBM3的主力供应商，三星则主要服务于其他云厂，但也刚刚通过了英伟达的供应商认证，两者占据了绝大部分的市场份额，美光的整体市场份额大致在5%左右。

拆分到具体产品上，TrendForce认为，今年HMB3仍然是市场主流，市占率将在60%以上，8层和12层HBM3e的累计份额大概在25%左右。

此前SK海力士对外公布，今年Q2开始少量出货12层堆叠的HBM3e，美光确认3月份开始交样，三星则将于9月份开始向英伟达供货（GTC上黄仁勋还给三星的12层堆叠HBM3e签名：Jensen huang认证）。

这意味着，三家供应商将于三季度打响HBM3e市场争夺战，大规模供货相关产品。

需求量大，价格也随之跟着起飞。

TrendForce的分析师Avril Wu援引产业链的消息称，2025年的HBM定价谈判已经在今年第二季度开始，受限于DRAM产能的不足，主要供应商已经确定涨价，涨幅预计在5%-10%之间。而涨价的理由可以归结为三个：客户的需求旺盛、HBM3e的良率偏低成本高以及供应商的产能和可靠性差别。

不过，基于DRAM的HBM大幅扩产，也会间接地压缩其它产品的产能，这也意味着消费级市场也可能会面临冲击，TrendForce预测最高涨幅可能达到20%，所以接下来AI PC如果涨价，意味着你也在为AI产业的发展埋单。

国产HBM最快明年问世

HBM又是扩产，又是涨价，国产现状如何，这应该是很多人关心的话题。

这个问题大致可以从两个方面来看，首先，是国产GPU是否能够采购到HBM内存；其次，是国产HBM进展怎么样？

根据公开资料，已经有国产GPU在使用HBM内存，不过先进产品产能有限，国产采购的主要还是前两代产品为主，比如HBM2e。另外，受制于BIS的限制，相关产品无法直接通过SK海力士、三星和美光直接供货，但可以通过一些特殊手段从上述供应商在全球的代理商的渠道采购，然后搭配控制器、逻辑芯片，利用CoWoS完成GPU的封装。

CoWoS封装横截面，其中蓝色为3D堆叠的HBM内存，绿色为主控芯片，粉色为逻辑芯片，橙色为硅中介层，灰色为封装基板，来源：Rambus

除了特殊手段采购HBM内存，也可以直接采购DRAM颗粒，但这需要原厂预留TSV孔，以便于利用国产线进行堆叠封装HBM，当然也可以直接采购裸晶封装成DRAM颗粒，然后利用TSV硅通孔技术，堆叠封装成为HBM内存，再利用国产CoWoS产能，完成GPU封装。

和台积电等少数厂商的全链条CoWoS封装能力不同，大陆的封装分为CoW和WoS两个部分，由不同厂商完成。不过，在产能不足的情况下，台积电的部分CoWoS也会拆成这种形式，比如台积电完成CoW部分，然后由日月光，Amkor等厂商完成WoS的部分。

根据此前产业链消息，Amkor已经进入到英伟达的供应商体系当中，拿到L40S的封装订单，也在布局CoWoS封装，如果未来英伟达的订单在台积电亚利桑那工厂生产，又由于台积电在美国还没有先进封装产线，这部分订单很有可能被Amkor拿到。

回归正题，将CoWoS拆成CoW和WoS两部分，核心在于工艺的成熟度，其次是两部分的良率的同步，这可能是目前的挑战之一，需要长时间的Know how以及协作，来提升良率、降本。

关于国产HBM进展如何的问题，本质上是回答国产HBM DRAM颗粒纯自研的进展，目前合肥、武汉、泉州和深圳都有相关企业在布局，前三地的厂商很多人应该熟悉，深圳昇维旭属于新晋入局者。

2022年3月份，深圳昇维旭成立，聚焦通用型DRAM芯片的研发生产，同年6月官宣日本半导体教父、尔必达社长坂本幸雄出任首席战略官，遗憾的是坂本幸雄已于今年2月14日因心肌梗塞去世，享年76岁。

据芯事重重专栏作者Morris Zhang透露，昇维旭预计最快明年可以拿出相关产品化SKU，初代产品可能会在较高的节点堆叠，颗粒密度小一些，频率/位宽/带宽规格小一些。

与此同时，一些国产厂商也在进行更先进的晶体管结构研究，比如在去年底69届IEEE国际电子元件年会上，长鑫发布了一篇概述环绕式闸极结构GAA（三星3nm节点导入的架构）技术的论文，被解读为突破3nm工艺。

客观地说，论文本质上只是一种技术展示，与技术突破不能画等号，且长鑫也发表声明，称论文描述了与DRAM结构和4F²存储单元结构设计可行性相关的基础研究（相比当前6F²结构，利用4F²结构，在不改变工艺节点的情况下，可以实现芯片尺寸微缩30%），与当前的生产工艺无关。

长鑫的回应符合国产芯片现状的客观逻辑，现在就追平SK海力士、三星这些存储巨头几乎不可能，但其反映出来的趋势很关键——国产厂商在面对诸多挑战的情况下，仍然在持续投入先进存储技术的研发，这可能是真正应该感到高兴的点，毕竟这才是国产存储，乃至国产芯片产业的火苗和希望。

点个“在看”，再走吧

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章