CXL：破解AI时代“内存墙”新途径

2024-05-01 00:05

AI大模型的快速发展推动“算力”和“存力”需求快速增长，“内存墙”问题由来已久，在 AI 时代表现的愈发明显，“算力”和“运力”之间的差距越来越大。Transformer 类的模型参数的数量呈现指数增长，每两年增加 410 倍，而 GPU 内存仅以每两年 2 倍的速度扩展。

1、AI时代“内存墙”问题愈发明显

AI 大模型的快速发展推动“算力”和“存力”需求快速增长，与此同时，对“运力”也提出了更高的需求。“运力”是指在计算和存储之间传输数据的能力，AI 时代，系统需要更大的运力，需要更高的带宽、更快的传输。

“内存墙”问题由来已久，在 AI 时代表现的愈发明显，“算力”和“运力”之间的差距越来越大。“内存墙”指内存的性能提升速度远低于处理器的性能提升速度，从而导致处理器无法充分发挥其计算能力。由于内存的读写速度相对较慢，处理器在等待数据从内存中读取或写入时会出现空闲状态，从而限制了系统的性能，即使增加处理器数量和核数，也无法有效提高整体的计算能力。Transformer 类的模型参数的数量呈现指数增长，每两年增加 410 倍，而 GPU 内存仅以每两年 2 倍的速度扩展。

2、CXL 高速互联应运而生，提高内存利用效率

CXL(Compute Express Link)技术是一种新型的高速互联技术，旨在提供更高的数据吞吐量和更低的延迟，同时实现内存共享、提高内存利用效率，为化解“内存墙”问题提出新的解决方案。它最初由英特尔、AMD 和其他公司联合推出，并得到了包括谷歌、微软等公司在内的大量支持。CXL 的目标主要是为了解决 CPU 和设备、设备和设备之间的内存鸿沟，解决内存分割造成的较大浪费、不便和性能下降。CXL 通过将计算和存储分离，形成内存池，从而能动态按需配置内存资源，提升效率。

3、CXL 技术优势明显

与 PCIe 技术相比，CXL 技术具有优势。1）CXL 延迟较低，通常为 10ns，而 PCIe的延迟为 100ns。2）CXL 支持内存一致性，一致性的缺乏限制了 PCIe 应用程序。3）CXL 地址空间可按定义缓存，PCIe 地址空间通常不可缓存。但相较于 PCIe 庞大且成熟的生态系统，CXL 目前应用并不广泛，仍有广阔的发展空间。

4、CXL 版本持续升级迭代

CXL 历经 5 个版本的升级发展，内存共享和设备的灵活性增强。CXL1.0 于 2019年 3 月发布，后历经 1.1、2.0、3.0 版本，2023 年 11 月，CXL 联盟发布了最新的CXL3.1 版本。随着 CXL 技术的不断演进，未来数据中心各个计算节点和内存节点的互联将更加快速、高效和灵活。

CXL1.0 及 1.1 版本归为一代标准，二者相比并没有较大的区别。CXL2.0 发布于2020 年，新增了切换、内存池化、按需内存分配、IDE（完整性和数据加密）功能。

CXL3.0 版本在三个关键领域进行重大改进。1）PCIe 协议由 PCIe5.0 上升到PCIe6.0，传输速率由 32GT/s 提升至 64GT/s；2）CXL3.0 可以支持更加灵活的 Switch拓扑；3）除了支持内存池化，CXL3.0 还进一步支持内存共享。

CXL3.1 新版本对横向扩展 CXL 进行了结构改进、增加了新的可信执行环境功能，并对内存扩展器进行了改进。1）支持使用全局集成内存（GIM）通过 CXL 结构进行主机间的通信，这可以大大提高系统性能。2）通过 CXL 对内存事务的直接点对点支持来增加 GPU 内存的使用效率，这对于处理大规模数据集和 AI 工作负载非常有帮助。

5、国际巨头纷纷加入CXL联盟

CXL 联盟由英特尔牵头成立，目前成员已经超过 255 个成员，涵盖了主要的 CPU、内存、存储和网络设备制造商。国际巨头纷纷加入 CXL 联盟，积极布局 CXL 技术，推出支持 CXL 技术的产品，助力 CXL 的发展。

6、CXL联盟定义了三种类型的设备

CXL 标准定义了三个协议：1）CXL.io 协议本质上是 PCIe 5.0 的改进，用于初始化、链接、设备发现和列举以及寄存器访问。2）CXL.cache 协议定义了主机和设备间的交互，允许连接的 CXL 设备以极低的延迟高效地缓存主机内存。3）CXL.mem 协议提供了主机处理器，使用加载和存储命令访问设备连接的内存。

CXL 联盟定义了三种类型的设备，分别支持不同的子协议。CXL.io 协议用于初始化和链接，所以必需获得所有 CXL 设备的支持，如果该协议发生故障，链接就无法运行。第一种设备用于智能 NIC 等设备。第二种设备用于带有内存的加速器，如 CPU、GPU、FPGA 等。第三种设备用于内存拓展和池化。

7、CXL市场空间广阔，DRAM占据主要份额

CXL 高速互联目前处于市场应用的早期阶段，未来有望迎来快速发展，采用 CXL协议服务器的占比持续提升。根据 Yole 的预测，到 2025 年，采用 CXL 协议的数据中心服务器占比达到 60%左右，到 2027 年，这一数据将接近 100%。Yole 预测到 2028年，CXL 市场总收入将超过 150 亿美元。

DRAM 占据 CXL 市场的主要份额，国际巨头纷纷进行布局。Yole 预计到 2028 年，DRAM 市场规模达到 125 亿美元，占到 CXL 市场规模的 79%。三星和海力士相继推出了采用 CXL 内存控制器的 CXL 内存模组。2023 年 5 月，三星电子推出其首款支持CXL2.0 的 128GB DRAM，加速下一代存储器解决方案的商用化进程。