突破InfiniBand包围圈

2024-06-27 01:06

👆如果您希望可以时常见面，欢迎标星🌟收藏哦~

来源：内容由半导体行业观察（ID：icbank）编译自nextplatform，谢谢。

关于这个爆炸式增长的人工智能市场以及它与运行模拟和模型的传统 HPC 系统的重新融合，目前尚无定论。但许多人都支持的一个观点是，最终以太网将得到改进，以至于 InfiniBand 不再是必需品。

这是超级以太网联盟（UEC：Ultra Ethernet Consortium）的使命，该联盟成立于近一年前，其目标之一是打破 InfiniBand 在 AI 训练和 HPC 模拟低延迟网络领域的霸主地位。他们还希望将这种增强型以太网扩展到单一、相对扁平的结构中的 100 万个端点，而这种结构不需要像 InfiniBand 和其他专有互连那样多的网络层。他们想要一种具有高带宽、低延迟和巨大规模的选择，而不是由单个供应商控制，而 Nvidia 的 InfiniBand 肯定是这样的。

200 Gb/秒和 400 Gb/秒 InfiniBand 结构的定价证明了这一点，在 HPC 和超大规模/云市场中，网络占集群成本的 20% 或更多的情况并不少见，而客户习惯于在互连上花费不到 10%。

UEC 的基本想法是彻底改造以太网堆栈，使其具有 InfiniBand 所具有的那种端到端结构及其遥测功能，从而能够进行拥塞控制和自适应路由。其想法是在交换机和网络适配器硬件以及在这些设备上运行的网络软件中实现这一点。UEC 还希望在以太网中实现灵活的数据包排序（通常称为packet spraying ），以首先避免拥塞。他们还希望创建一种新的远程直接内存访问方法，该方法基于 InfiniBand 的 RDMA 实现以及以太网的 RoCE。所有这些都将以标准化的方式完成，允许不同供应商之间进行差异化，但为了兼容性而具有通用性。

UEC 的创始成员包括 AMD、Arista Networks、Broadcom、思科系统、Eviden（Atos）、惠普企业、英特尔、Meta Platforms、微软和甲骨文，而该项工作及其知识产权由 Linux 基金会负责管理。

去年 11 月，UEC 首次开放会员资格，新增了 27 家公司，其中包括一些知名公司。了解谁是会员非常重要，以下是已加入该组织的公司：阿里巴巴、Alphawave Semi、百度、字节跳动、Cadence、Cornelis Networks、戴尔、DriveNets、DreamBig、Enfabrica、富士通、华为技术、IBM、Infraeo、瞻博网络、是德科技、Marvell、NeuReality、H3C Technologies、诺基亚、三星、Salience Labs、Spirent Communications、Synopsys、腾讯、VNET 和 XSight Labs。

截至今年 3 月，除了指导委员会原有的 10 家公司外，又有 45 家新公司加入了该委员会，目前 UEC 成员总数已增至 55 家。从徽标数量来看，我们知道 UEC 目前至少有 63 名成员，以下是我们已经确定的成员：Accellink、Asterfusion、Centec、Ciena、Credo、Edge-Core Networks、Fathom Radiant、Graphcore、Grovf、Internet Initiative Japan、Kalray、劳伦斯利弗莫尔国家实验室、联想、MangoBoost、MemVerge、Molex、Preferred Networks、Qumulo、锐捷网络、桑迪亚国家实验室、Scala Computing、Stelia、Supermicro、YunSilicon、Zenosic 和中兴通讯。其中有 8 家公司（我们不知道是哪家）是在 3 月之后加入的。

据我们所知，谷歌和亚马逊网络服务公司不是成员，但他们可能会悄悄地参与其中——他们肯定会从 InfiniBand 替代方案中受益。甚至 Nvidia 也可能加入，因为它需要其 Spectrum Ethernet 最终达到 UEC 标准。我们已经联系了 Nvidia，以了解它是否已加入，并将在找到答案后更新此报道。

重点是，所有重要公司都希望以太网能够得到修复，而 715 名技术人员正在齐心协力实现这一目标。UEC 1.0 规范预计将于今年第三季度发布。

Cornelis Networks 联合创始人兼首席执行官 Phil Murphy 是一位技术人员，他不仅致力于 UEC 规范，还致力于利用该规范的 Omni-Path 互连。

是的，你听到的是对的。

Murphy可能和 Nvidia 一样了解 InfiniBand，他是 SilverStorm Technologies 的联合创始人兼副总裁，该公司于 2006 年被 QLogic 收购，并成为其 InfiniBand 产品组合的一部分，直到2012 年 1 月英特尔以 1.25 亿美元从 QLogic 手中收购了 TruScale InfiniBand 交换机和适配器业务。对英特尔和现在的 Cornelis Networks 来说意义重大的是，英特尔于 2012 年 4 月以 1.4 亿美元从 Cray 手中收购了“Gemini”和“Aries”互连产品，希望打造更好的 InfiniBand。2020年 9 月，Murphy是 Cornelis Networks 从英特尔手中收购 Omni-Path 业务（包括这些 IP 产品组合以及现有产品和来自客户的支持合同）的幕后推手之一。

美国的许多 HPC 中心（尤其是桑迪亚国家实验室和劳伦斯利弗莫尔实验室以及德克萨斯大学的德克萨斯高级计算中心）都希望找到 InfiniBand 或 HPE/Cray 的 Slingshot 等专有互连的替代方案，并且一直在资助 Omni-Path 的重新开发。现在，Cornelis Networks 将把其路线图与 Omni-Path 交换机和适配器以及 UEC 路线图相交叉。

早在 2023 年 8 月，我们就深入研究了 Cornelis Networks 的 Omni-Path 路线图，当时 UEC 刚刚推出一个月，公司还没有机会仔细考虑发生了什么。以下是对该路线图的评论，供您参考：

当我们最近与 Murphy 交谈时，除了谈论 AI 训练的性质以及最终谁将成为训练者之外，Muphy 认为超大规模企业和云计算建设者将是唯一能够负担得起训练费用的人，世界其他地方将从他们那里获得模型许可，并在本地或云端运行它们，我们有一个问题：就像 RoCE 是试图假装是 InfiniBand 的以太网一样，你能让 Omni-Path 假装是 UEC 并以此为幌子吗？

“这正是我们要做的，”Murphy笑着说。“我们将通过 Omni-Path Express 实现以太网功能。超大规模企业和云希望 UEC 具有多供应商和可互操作性，因此我们必须遵守规范，但我们已经拥有这些技术——基于信用的流量控制、拥塞控制和动态自适应路由——它们是 UEC 规范的一部分。”

Omni-Path Express（简称 OPX）是 Cornelis Networks 对其 Omni-Path 产品线的称呼。

对于 Cornelis Networks 来说，几年前它采用了Open Fabrics Interfaces 工作组的 libfabric 库，取代了 QLogic 和 Intel 前几代产品中使用的 InfiniBand Verbs 和 QLogic PSM 软件层，从而大大简化了在其 Omni-Path 硬件上支持超以太网协议的能力。UEC 还将 libfabric 标准化为其北向 API。这意味着 Cornelis Networks 让 Omni-Path 看起来像是在使用 UEC 规范中体现的现代以太网并不难。

为了理解这一点，我们需要了解一些历史。正如我们多次说过的那样，InfiniBand 的最初目标是取代 PCI-Express、光纤通道和以太网，并为所有设备、PC 和服务器创建通用的融合结构。QLogic 的 InfiniBand TruScale 变体采用了一种称为性能规模消息传递 (PSM) 的技术，QLogic 认为它比 InfiniBand Verbs 方法更好，可以提供更好的规模。但即便如此，AI 和 HPC 系统的规模也远远超出了二十多年前的设计规格，这就是为什么 Cornelis Networks 基于 Linux 操作系统的 libfabric 驱动程序组合了一个新的软件堆栈，并用来自 Open Fabrics Interfaces 工作组的 OPX 提供程序替换了 QLogic TruScale 和 Intel Omni-Path 堆栈中的 PSM 提供程序。

InfiniBand 和 Omni-Path 堆栈通过当前 100 Gb/秒 Omni-Path Express 交换机的演变过程如下：

UEC 堆栈如下所示：

鉴于 Ultra Ethernet 和 Omni-Path 都通过 libfabric API 进行通信，只要 Cornelis Networks 与 UEC 同步向其 libfabric 驱动程序添加扩展，那么就应该相对容易地让 Omni-Path 在适配器级别使用现代以太网，然后在交换机中恢复到本机传输。

顺便说一句，这正是 Cray为 2010 年推出的 XT 系列大规模并行超级计算机中使用的“SeaStar”互连设置的集群兼容模式所做的。在 Linux 上为以太网编写的应用程序会访问此 CCM 驱动程序，并且不知道它们实际上根本没有与以太网通信。出于同样的原因，Cray 还将 Open Fabrics InfiniBand 驱动程序添加到 CCM。

今年，Cornelis Networks 推出了 400 Gb/秒 Omni-Path Express CN5000 交换机和适配器，删除了所有 OFA Verbs 和 QLogic PSM2 支持，只支持 OFI libfabric 提供商层。Murphy 表示，这款产品已经成熟，不支持 UEC 规范。但随着 2026 年推出 800 Gb/秒 Omni-Path CN6000 交换机和适配器，事情开始变得有趣起来。

“我们将在 2026 年初推出 800 Gb/秒的产品，这可能还为时过早，无法完全兼容超级以太网，但它将具备一些功能，”Murphy 告诉The Next Platform。“对于大多数超大规模企业和云构建者来说，他们关心的是超级以太网的路径。但在 2026 年末和 2017 年初，您将看到真正的超级以太网产品。”

奇怪的是，Cornelis Networks 将供应其中一些产品。对此我们要说：英特尔不应该出售 Omni-Path。一切都在朝着它想要的方向发展。

参考链接

https://www.nextplatform.com/2024/06/26/what-if-omni-path-morphs-into-the-best-ultra-ethernet/

点这里👆加关注，锁定更多原创内容

END

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。