交换机专题：国内外交换机发展趋势研究

2024-07-16 00:07

本文来自“《他山之石系列：交换机专题合集》”“交换机专题：国内外交换机发展趋势研究”，据IDC数据，2022年，全球交换机市场规模为3080亿元，同比增长17%，预测2022-2027年CAGR约为4.6%；中国交换机市场规模为591亿元，同比增长9.5%，预计未来5年增速高于全球增速，稳定在7%-9%。

传统的数据中心将所有计算资源集中在一个地点，而分布式计算则利用多个互连的服务器或节点完成任务。这种模式下，工作负载通过高速、低延迟的网络连接分散到不同机器上。生成式AI应用程序或AI模型（如ChatGPT、BERT、DALL-E）的训练需要大量计算资源，特别是大型复杂模型。

随着数据量和模型规模的增加，分布式计算通过多个互连节点加速训练过程。交换机在此过程中确保消息及时传递至所有节点，尤其在大规模数据中心和竞争性工作负载中，尾延迟尤为重要。此外，网络的扩展能力和处理大量节点的能力对于大型AI模型的训练和海量数据的处理至关重要，交换机在保障高效网络连接和数据传输方面发挥关键作用。

交换机关键参考指标包括交换带宽、延迟、抖动和兼容性等：交换带宽反映了交换机的总体数据交换能力。低延迟对于实时应用和高速网络环境非常重要。抖动指的是数据包到达时间的变异性，抖动越小，数据传输的稳定性越高。兼容性衡量交换机与其他网络设备和协议的互操作性，确保系统的无缝连接。

以太网交换机芯片承担交换机核心转发功能，决定核心性能指标。芯片主要组成部分为交换核心、接口控制器和内存。交换芯片专门用于数据包的预处理以及转发，其通过专用的PCIE线与CPU相连，接收中央处理器的调用指令，完成数据转发。

交换机芯片占交换机成本较高。依据菲菱科思招股书的描述，其公司直接材料成本在主营业务中成本占比较高，其中芯片在直接材料中的占比达到40%。其他组成部分包括电源，结构件，PCB，网络变压器和被动元器件等。

1、InfiniBand网络

InfiniBand是一种为高性能计算设计的互连标准，旨在解决集群中数据传输的瓶颈。其主要特点包括高带宽、低延迟和高网络可靠性。InfiniBand起源于1999年，由未来I/O和下一代I/O（NGIO）两种竞争设计合并而成，并由英特尔、Sun Microsystems、Dell等公司推动。在2000年，InfiniBand架构规范1.0版发布，最初目标是替代PCI总线、以太网、集群互连和光纤通道。

InfiniBand的发展历程充满挑战和机遇，但最终找到了高性能计算领域的增长点。随着英特尔和微软的退出，Mellanox逐渐成为InfiniBand的主要推动力。Mellanox通过一系列并购和技术整合，占据了全球InfiniBand市场的80%。

InfiniBand之所以能迅速崛起，RDMA拥有主要功劳。如图所示，在传统TCP/IP中，来自网卡的数据，先拷贝到核心内存，然后再拷贝到应用存储空间。这种操作方式需要经过核心内存的转换，增加了数据流传输路径的长度，CPU的负担，和传输延迟。

RDMA的内核旁路机制，允许应用与网卡之间的直接数据读写，将服务器内的数据传输时延降低到接近1us。同时，RDMA的内存零拷贝机制，允许接收端直接从发送端的内存读取数据，绕开了核心内存的参与，极大地减少了CPU的负担，提升CPU的效率。

2、以太网网络

以太网是计算机网络中最广泛使用的技术，也是互联网的基础技术。自诞生以来，以太网在不断改进，支持更高的比特率、更多的节点和更长的链路距离的同时保持良好的向后兼容性。以太网在很大程度上取代了令牌环、FDDI和ARCNET等其他有线LAN技术，成为企业、运营商、无线网络和互联网的主导技术。

以太网的设计初衷是实现局域网内的节点间通信，其特点在于兼容性强、成本较低、灵活性好。它利用MAC地址标识节点，通过ARP协议映射至IP地址，并在网络层使用IP协议路由，ICMP协议进行错误和控制消息报告。从10Mbps发展至100GE、200GE、400GE等高速标准，适应了网络带宽增长。尽管缺乏流控机制可能引起拥塞，以太网基于TCP/IP协议，允许接入互联网的设备进行数据传输。

RoCE是一种在以太网上实现RDMA技术的方法，从而降低了数据传输的复杂性和延迟。RoCE分为v1和v2版本，v1在二层以太网实现RDMA，v2通过UDP/IP在三层网络实现。V2利用UDP封装提高传输效率，实现内存直接访问。数据中心应用需无损以太网络和支持RoCE的网卡，以确保零丢包和低延迟。RoCE结合了InfiniBand和以太网的优势，为数据传输提供了高效可靠的方案。

3、IB与以太网技术指标对比

以太网和InfiniBand在高性能计算和数据传输方面各有优劣。整体上，InfiniBand在带宽、延迟和网络可靠性方面表现出色，适合需要高性能通信的场景；而以太网因其较低的成本和广泛的兼容性，在终端设备互联和一般网络应用中更具优势。InfiniBand提供了更高的带宽和更低的延迟，同时具有高度的网络可靠性和简单的组网方式。相对而言，以太网在价格和终端设备互联方面占据优势，但在处理复杂业务和大规模组网时可能会增加配置复杂性和成本。

InfiniBand以其高带宽、低延迟和高度可扩展性在HPC中表现出色，确保了快速、不间断的数据流和可预测的网络性能。然而，以太网在AI网络中展现了更多优势。以太网不仅价格较低，而且多功能性和与各种设备的兼容性使其在预算考虑至关重要的情况下更具吸引力。此外，随着 ROCE 和无损以太网等技术的改进，以太网在数据传输、流量管理和错误检测方面表现出色。

Arista Networks首席执行官Jayshree Ullal指出，在现实环境中，以太网的任务完成时间比InfiniBand快约10%。预计到2028年，45%的生成式AI流量将在以太网上运行，进一步巩固其在AI网络中的地位。以太网的开放生态系统和多样化供应商选择，使其在AI训练和推理中具备更大的竞争力和潜力。

2023年7月，Linux基金会宣布成立超级以太网联盟，包括AMD、Arista、Broadcom、思科等公司在内的创始成员致力于改进以太网，以满足HPC和AI系统所需的低延迟和可扩展性要求。该联盟的首要任务是定义和开发超以太网传输（UET）协议，以更好地满足HPC和AI工作负载的需求。

4、IB vs 以太网：巨头趋势

英伟达：英伟达进入以太网市场，预计每年为其网络部门带来20-30%的增长。市场的投资焦点主要集中在光模块和以太网产业链上。未来，英伟达将继续推出更多高性能的以太网交换机，以满足更大规模GPU集群的需求，并进一步增强以太网技术在AI推理侧的应用。

英伟达Spectrum-X800拥有256个端口，每秒51.2Tbps。预计2025年推出512个端口的Spectrum-X800 Ultra，2026年推出为数百万个GPU设计的Spectrum-X1600。

英特尔：2002年宣布退出IB研发，表明英特尔将其重点从IB转向了以太网。英特尔的以太网产品线涵盖了从网络适配器到高级交换机的各种设备。通过持续投资和创新，英特尔推出了多款先进的以太网交换机和网络适配器，如Intel® Ethernet 800系列，支持更高的带宽和更低的延迟，以满足不断增长的网络需求。

博通：未大规模涉足IB市场，而是将其主要精力集中在以太网领域。作为全球领先的以太网芯片制造商，博通在以太网交换机和网络适配器方面占据重要市场份额。近年来，博通持续创新，推出了一系列高性能以太网产品，如Tomahawk和Trident系列交换芯片，这些产品在数据中心和云计算领域得到了广泛应用。博通的产品能够支持高达400Gbps的网络速度，满足了现代数据中心对于高带宽和低延迟的需求。

华为：在IB领域有所涉足，但并未将其作为主要发展方向。相比之下，华为更加强调以太网技术的发展。华为推出了多款高性能以太网交换机，如CloudEngine系列，这些产品支持大规模数据中心和AI应用。

中兴：与华为类似，在IB领域并非其主要关注点。中兴将更多的资源投入到以太网技术的研发和推广中。中兴的以太网产品线覆盖了企业和运营商市场，提供从接入层到核心层的全面解决方案。中兴已布局800G、400G、100G等多种数据中心交换机产品。