什么是HBM？

2024-08-14 00:08

HBM（High Bandwidth Memory，高带宽内存）是为满足巨量数据处理需求而设计的DRAM技术，提供超高数据传输速率。HBM通过使用堆叠内存芯片以及硅通孔（Through-Silicon Via,TSV）技术与微凸点（Microbump）互连来实现更高的带宽和更低的功耗，从而解决传统内存技术在处理高性能计算和图形密集型应用时面临的带宽瓶颈问题。

为什么需要HBM？

在HBM发明出来之前，GPU的核心逻辑芯片和周围的存储芯片安装在同一块基板上，并通过基板中的引线和微粒进行连接，如图所示。由于在这种封装模式中逻辑芯片和存储芯片位于同一平面上，所以这种封装模式也称为2D封装技术。

图1 2D封装的显卡

随着计算需求的增长，尤其是在高性能计算、图形处理和数据分析等领域，GPU需要拥有快速读取内存中大量数据的能力，此时传统的DRAM内存技术遇到了几个关键的挑战：

•带宽不足

处理器的速度在不断提升，但内存带宽的增长速度跟不上处理器的需求，从而影响整个系统的效率。2D封装通常受限于芯片边缘可用的连接点数量。这限制了带宽和输入/输出（I/O）密度，因为所有的连接都必须在芯片的外围布局。随着数据处理需求的增加，这种布局方式越来越难以满足高速、大容量的数据传输需求。

•信号延迟和功耗问题

在2D封装中，信号必须在较长的铜线或其他导体上传输，这增加了信号延迟和功耗。长距离传输导致信号完整性下降，尤其在高频操作下更为明显。此外，更长的信号路径意味着更高的电阻和电容，从而增加了功耗。

•空间限制

为了增加带宽，系统设计者可能需要增加更多的内存模块，这在空间受限的系统中是不切实际的。以目前主流的GDDR5为例，GPU核心周围分布着12/16颗存储芯片，这样就消耗了大量PCB面积。随着集成电路功能的增加，2D封装在物理空间上的限制变得越来越明显。

•热量分布

2D封装中的热管理是一个重大挑战，尤其是在高功率密度的应用中。热量需要通过封装传递到散热器或其他冷却装置，这个过程效率不高，容易导致芯片过热，影响性能和可靠性。

•系统复杂性

为了解决带宽和功耗问题，系统设计可能会变得更加复杂，需要使用更多的内存条，更复杂的布线和更大的主板空间，从而增加了设计和制造的成本和复杂性。

HBM包括哪些关键技术？

为了解决上述问题，由SK海力士、AMD、三星等半导体厂商共同研发出了更高显存带宽、更低功耗、更小体积的HBM存储芯片。HBM的设计逻辑如图2所示，先进封装技术、微凸点互连技术和硅通孔（TSV）技术在其中起到了关键作用。

图2 HBM芯片设计架构图

先进封装技术

在传统2D封装技术中，如图3所示，逻辑芯片和存储芯片通过引线连接到基板，再通过基板实现芯片之前的互联。在2D封装中，信号必须在较长的引线上传输，这增加了信号延迟和功耗。长距离传输导致信号完整性下降，尤其在高频操作下更为明显。此外，更长的信号路径意味着更高的电阻和电容，从而增加了功耗。

图3 传统2D封装示意图

HBM使用先进的封装技术，如2.5D和3D封装，如图4所示。在3D封装中，HBM将多个DRAM存储芯片与逻辑运算芯片叠在一起。这种堆叠方式允许芯片在垂直方向上连接，大大增加了单位面积内的存储密度和带宽。堆叠的层可以达到四层或更多，每一层通过硅通孔（TSV）和微凸点互连技术与其他层连接。在2.5D封装中，堆叠好的HBM芯片和核心运算单元被安装在硅中介层（interposer）上，并通过硅中介层里的硅通孔进行连接，进一步在提升存储带宽的同时降低功耗。

图4 先进封装技术

硅通孔（TSV）和微凸点互连技术

硅通孔（Through-Silicon Via）技术是HBM实现垂直互连的关键。TSV是一种在硅片内部钻孔并填充导电材料的技术，用于创建垂直连接。这些垂直连接允许电信号和热量在堆叠芯片之间传递，从而提高了数据传输速率并改善了热管理。

微凸点互连（Microbump Interconnect）技术用于连接堆叠在一起的内存芯片。微凸点是微小的金属凸点，位于芯片的接触面上，用于建立物理和电气连接。这种连接方式对于高密度堆叠非常关键，因为它提供了稳定且高效的数据传输路径。

图5 硅通孔（TSV）和微凸点互连技术

HBM的性能迭代

HBM技术的发展历程见证了性能的跨越式提升，每一代HBM都在带宽、容量和能效上设立了新的标准。

HBM VS GDDR

HBM和GDDR（Graphics Double Data Rate）是两种不同的内存技术，它们在高性能计算和图形处理领域有着重要的应用。尽管两者都是为了提供高速数据传输而设计，但它们在架构、性能、功耗和成本等方面有着显著的差异。HBM通过2.5D/3D封装技术和硅通孔技术，获得了远高于GDDR的带宽和空间利用率；通过更短的信号传输路径，获得了更低的功耗。但由于较高的技术复杂性，HBM带来了更高的制造成本；同时，HBM的堆叠层数和每层容量目前受到技术限制，GDDR的容量和性能可以通过增加数据宽度和提高时钟速度来进一步扩展。