干货：聊聊交换机和AI有什么关系？

网络协议为计算机网络中进行数据交换而建立的规则、标准或约定的集合。法律层面上，OSI 七层协议为国际协议。

本重点从以下几方面出发，聊聊交换机和 AI 有什么关系？

Q：什么是协议？

Q：数据中心架构中，交换机有什么用？

Q：英伟达交换机=IB 交换机？

Q：英伟达 SuperPOD 如何理解？

Q：什么是协议？

• 物理层：解决了硬件之间如何通信，主要功能为定义物理设备标准（如接口类型、传输速率等），从而实现比特流（一种以 0、1 表示的数据流）的传输。

• 数据链路层：主要功能为帧编码和误差纠正控制。具体工作为接受来自物理层的数据，并封装为帧，然后传输到上一层。同样也可以将来自网络层的数据拆为比特流传输给物理层。之所以能实现纠错的功能，是因为每帧除了要传输的数据外，还包括校验信息。

• 网络层：在节点之间创建逻辑电路，通过 IP 寻找地址（在网络中每个节点都有一个IP）。这一层传输的数据以包为单位。

• 传输层：负责监督数据传输的质量，若发生丢包，则应该重新发送。

• 会话层：主要功能为管理网络设备的会话连接。

• 表示层：主要负责数据格式转换、加密等。

• 应用层：提供应用接口，可以为用户直接提供各种网络服务，完成各种网络工作。

• 其一，存在数十微秒的时延。由于 TCP/IP 协议栈在传输时，需要多次上下文切换，并依赖 CPU 进行封装，因此时延较长。

• 其二，CPU 负载严重。TCP/IP 网络需要主机 CPU 多次参与协议栈内存拷贝，CPU负载与网络带宽相关系数过大。

交换机和路由器工作的层次不同。交换机（Switch）工作在数据链路层，基于 MAC（网卡的硬件地址）识别，能完成封装转发数据包功能，允许不同的设备间相互通信。路由器(Router)亦称选径器，工作在网络层，实现相互连接，基于 IP 实现寻址，将不同的子网络相连接。

传统的数据中心往往使用三层架构，即接入层、汇聚层、核心层，而在小型的数据中心中，可以忽略汇聚层的存在。其中，接入层通常直接与服务器相连，常用的接入交换机常为TOR（Top of Rack）交换机。汇聚层是网络接入层和核心层的 “中介（中间层）”。核心交换机为进出数据中心的包提供转发，并为汇聚层提供连接性。

传统的三层网络有较为显著的缺点，并且随着云计算的发展，这些缺点愈发突出：

• 带宽浪费：每组汇聚交换机管理一个 POD（Point Of Delivery），每个 POD 内都是独立的 VLAN 网络。汇聚交换机和接入交换机之间通常使用 STP（Spanning Tree Protocol，生成树协议）。STP 使得对于一个 VLAN 网络只有一个汇聚层交换机可用，其他的汇聚层是被阻塞的，同时这也导致汇聚层无法水平拓展。

• 故障域大：由于 STP 的算法，网络拓扑变更时需要重新收敛，容易发生故障。

• 时延较长：随着数据中心的发展，东西向流量大幅增加，而三层架构间服务器之间的通信需要层层经过交换机，造成了较大的时延，且核心交换机和汇聚交换机的工作压力不断扩大，性能升级也造成成本的上浮。

叶脊架构优势明显，具有扁平化设计、低延迟、具有带宽高等特点。叶脊网络（leaf-spine）使得网络扁平化，其中叶交换机相当于传统的接入层交换机，脊交换机类似核心交换机。

Spectrum-X 针对生成式 AI 所设计，优化了传统以太网交换机的限制。NVIDIA Spectrum X 平台的两个关键元素是 NVIDIA Spectrum-4 以太网交换机和 NVIDIA BlueField-3 DPU。

• 利用性能隔离来确保在多租户和多作业环境中，一个作业不会影响另一个作业。

• 确保在出现网络组件故障时，网络架构能够继续提供最高性能。

• 与 BlueField-3 DPU 同步，实现最佳 NCCL 和 AI 性能。

• 在各种人工智能工作负载下保持一致和稳定的性能，这对实现 SLA 至关重要。

Spectrum 和 Quantum 平台针对不同的应用场景。在英伟达的设想中，AI 应用场景可大致分为 AI 云和 AI 工厂，在 AI 云中可以使用传统以太网交换机和 Spectrum-X 以太网，而在 AI 工厂中则需要使用 NVLink+InfiniBand 的方案。

SuperPOD 是服务器集群，通过将多个计算节点相连，以提供较大的吞吐性能。

以英伟达 DGX A100 SuperPOD 为例，英伟达官方推荐的配置中使用的交换机为 QM9700，能提供 40 个 200G 端口。由于其采用的架构为胖树（不收敛）架构。在第一层中， DGX A100 服务器共有 8 个接口，分别接入 8 个叶交换机，20 台服务器组成一个 SU，因此共需8*SU 台服务器，第二层架构中，由于网络不收敛，且端口速率一致，因此脊交换机提供的上行端口要大于等于叶交换机的下行端口。因此，1 个 SU 对应 8 台叶交换机和 5 台脊交换机，2 个 SU 对应 16 台叶交换机和 10 台脊交换机，依此类推。此外，当 SU 数量增至 6 个以上时，官方推荐加入一层核心层交换机。

在 DGX A100 SuperPOD 中，计算网络的连接中服务器：交换机~1：1.17（以 7 个 SU 为例）；但是在 DGX A100 SuperPOD 中，这一比例为 1：0.38。若考虑到存储器及网络管理的需求，则 DGX A100 SuperPOD 和 DGX H100 SuperPOD 中服务器：交换机分别为 1：1.34 和 1：0.50。

从端口方面看，在 DGX H100 的推荐配置中，每个 SU 由 31 台服务器组成。一方面，DGX H100 只有 4 个用于计算的接口，另一方面，在 DGX H100 SuperPOD 中交换机为 QM9700，提供 64 个 400G 端口。

从交换机性能看，DGX H100 SuperPOD 推荐配置中的 QM9700 性能大幅提升。Infiniband 交换机引入了 Sharp 技术。通过聚合管理器在物理拓扑中构造流聚合树（SAT，Streaming Aggregation Trees），然后由树中的多台交换机执行并行运算，可以大幅降低延迟，提高网络性能。QM8700/8790+CX6 仅最多支持 2 个 SAT，但QM9700/9790+CX7 最多支持 64 个。叠加端口数量增多，因此交换机用量下降。

交换机市场现状？

交换机市场短期景气较好，随着 AI 发展，市场需求有望进一步扩大，且呈现向高端迭代趋势。

从格局上看，交换机市场尚为蓝海，思科份额较大，Arista 成长迅速。

市场规模方面：2023Q1 全球以太网交换机收入 100.21 亿美元，同比+31.5%。其中，200G/400G 交换机收入同比增加 41.3%，100G 交换机收入同比+18.0%。