更快的PCIe 6.0，更快的1.6T光模块

2024-07-20 00:07

英伟达在GTC 2024大会上发布了基于“Blackwell”架构的 GB200、HGXB200 和 HGX B100，其中 GB200 将集成 2 个 Blackwell 系列 GPU 和 1 个 Grace CPU，支持内部 NVLink v5 和 PCIe 6.0。

PCIe 带宽比“Hopper”架构扩大了一倍。

与 Blackwell 适配的 Quantum-X800 InfiniBand 平台带来确定的 1.6T 光模块需求。其中 Quantum-X800 系列的 Q3400-RA 4U 交换机通过 72 个 OSFP 光模块提供144 个 800G 端口。ConnectX-8 智能网卡升级到 XDR 800Gb/s,同时后向兼容 NDR400Gb/s，HDR 200Gb/s。ConnectX-8 智能网卡可以使用 4*224G 的 800G 光模块。

Blackwell 早期产品选择兼容 PCIe 5.0

截至2024年6月30日，英伟达官网公布的“Blackwell“系列产品的 Datasheet显示，目前“Blackwell”架构的服务器暂时配置PCIe 5.0 网卡，其中：DGX SuperPOD NVL72 搭载了 72 张 Blackwell GPUs，网络配置为 72 张单端口400G 的 ConnectX-7 网卡，需要配置 72 个基于 NDR 的 400G 光模块；DGX B200 搭载了 8 张 Blackwell GPUs，配置了 8 张 ConnectX-7 网卡，需要配置 4 个基于 NDR 的 800G 光模块（2×400G）。

Blackwell 服务器暂时配置 ConnectX-7 网卡，与 PCIe 6.0 的整体进度有关。其中英伟达 ConnectX-7 400G 网卡采用 InfiniBand NDR,双向速率为800Gbit/s,需要 PCIe 5.0 ×16; 英伟达 ConnectX-8 800G 采用 InfiniBand XDR,双向速率为 1600Gbit/s,需要 PCIe 6.0 ×16。

2024年PCI-SIG公布了PCIe 6.0 和 PCIe 7.0 的最新进展情况。PCIe 6.0 深度一致性测试计划在 2025 年完成，PCIe 7.0 的最终规格计划于 2025 年发布。

PCIe 6.0 有望在 2024 年商用

PCIe 技术标准自 2003 年推出 PCIe 1.0 以来，经历了一系列重要的迭代。每一代标准的发布，如 PCIe 2.0、3.0、4.0 和 5.0，都显著提升了传输速率。2021 年发布的 PCIe 6.0 标准将单向传输速率提升至 64 GT/s，而最新的 PCIe 7.0 标准则预示着 2025 年将实现 128 GT/s 的单向传输速率，开启高速互连的新时代。

PCIe 6.0 是 PCIe 问世以来变化最大的一次，改用 PAM4 脉冲调幅信令，1b/1b 编码，单个信号就有能四种编码（00/01/10/11）状态，比之前翻番，允许承载最高 30GHz频率，并配套 FEC 前向纠错机制，纠正链路中的信号错误，保障数据完整性。

2023 年 9 月，Synopsys 展示了业界首个与英特尔 PCIe 6.0 测试芯片互操作的PCI Express 6.0 IP。

Alphawave 于 2023 年 12 月和 Keysight 合作测试了 PCIe 6.0 控制器，成功达到了 64GT/s 的上限、2024 年 3 月和中际旭创联合展示了 Alphawave PCIe 6.0 子系统和 LPO OSFP 光模块、2024 年 6 月和 Amphenol 合作展示了 OSFP-XD PCIe 直连电缆在Alphawave PAM4 SerDes PHY 控制下进行高宽带、低延迟通道解决办法。Alphawave表示，这为 2024 年首批商用 PCIe 6.0 设备的到来做好了准备。

PCIe 产业市场规模收益 AI 需求，有望持续增长。根据 Technavio 预测，2023年至 2028 年，PCIe 市场预计将以每年 28.22%的速度增长，达到 537.4 亿美元，并预计在 2033 年达到 1233 亿美元。按地区划分，全球 PCIe 市场分为北美、亚太地区、欧洲、南美、中东和非洲，在预测期内北美将占市场增长的 40%。

PCIe 7.0 有望引入光通信

2024年4月PCI-SIG发布了PCIe 7.0的0.5版，将最高数据速率提高到128GT/s，并保留了与前几代规范的兼容性、6.0 的 Flit 编码和 PAM4 信号，且将物理层的总线频率提高了一倍。这可将扩展 PCIe 产品路线图，包括数据密集型应用和市场，800 千兆以太网、人工智能和机器学习、高性能计算（HPC）、量子计算、超大规模数据中心和云。

在 2024 年 6 月的 PCISIG 大会上，Synopsys 使用 OpenLight 光子 IC 以 128Gb/s运行的 Synopsys PCIe7.0 PHY IP，提供业界唯一完整的 PCIe 7.0 IP 解决方案。

Cadence 展示了 PCIe 7.0 子系统测试芯片板，可以通过外部环回模式配置的非重定时光电链路，成功地发送和接收 128GT/s 信号，并留有多个数量级的余量；Rambus 推出了适用于高性能数据中心和 AI SoC 的 PCIe 7.0 IP 产品组合，包括 PCIe 控制器、重定时器和多端交换机；Alphawave 展示了用于快速实施下一代 PCIe 7.0 规范的 IP子系统解决方案，并展示了支持 DSP 的 PAM4 SerDes 技术。