英伟达H100横扫MLPerf ，训练性能吊打A100

在首次推出全面的 MLPerf 推理基准两个月后， NVIDIA H100 Tensor Core GPU 在行业集团最新的 AI 训练测试中创下了企业 AI 工作负载的世界纪录。

结果表明，H100 是在创建和部署高级 AI 模型时要求最高性能的用户的最佳选择。

MLPerf 是衡量 AI 性能的行业标准。它得到了包括亚马逊、Arm、百度、谷歌、哈佛大学、英特尔、Meta、微软、斯坦福大学和多伦多大学在内的广泛团体的支持。

在今天发布的相关 MLPerf 基准测试中，NVIDIA A100 Tensor Core GPU 提高了他们去年在高性能计算 (HPC) 领域设定的标准。

首次提交 MLPerf 训练时，NVIDIA H100 GPU 的速度比 A100 GPU 快 6.7 倍

H100 GPU（又名 Hopper）提高了 MLPerf 训练中每个加速器的性能标准。首次提交 MLPerf 训练时，它们的性能比上一代 GPU 高 6.7 倍。通过同样的比较，由于软件的进步，今天的 A100 GPU 又增加了 2.5 倍。

部分由于其 Transformer Engine，Hopper 在训练流行的自然语言处理 BERT 模型方面表现出色。它是 MLPerf AI 模型中最大且最需要性能的模型之一。

MLPerf 让用户有信心做出明智的购买决定，因为基准涵盖了当今最流行的 AI 工作负载——计算机视觉、自然语言处理、推荐系统、强化学习等。这些测试经过同行评审，因此用户可以依赖他们的结果。

在单独的 MLPerf HPC 基准测试套件中，A100 GPU 横扫了在超级计算机上运行的苛刻科学工作负载中训练 AI 模型的所有测试。结果表明 NVIDIA AI 平台能够扩展以应对世界上最严峻的技术挑战。

例如，A100 GPU 在 CosmoFlow 天体物理学测试中训练 AI 模型的速度比两年前第一轮 MLPerf HPC 中的最佳结果快 9 倍。在相同的工作负载下，A100 的每芯片吞吐量也比其他产品高出 66 倍。

HPC 基准训练用于天体物理学、天气预报和分子动力学工作的模型。它们属于许多技术领域，如药物发现、采用人工智能来推动科学发展。

Nvidia 表示，在全球范围内的测试中，A100 GPU 在训练速度和吞吐量方面均处于领先地位

亚洲、欧洲和美国的超级计算机中心参加了最新一轮的 MLPerf HPC 测试。在 DeepCAM 基准测试的首次亮相中，戴尔科技公司使用 NVIDIA A100 GPU 展示了强劲的结果。

在企业 AI 训练基准测试中，包括 Microsoft Azure 云服务在内的共有 11 家公司使用 NVIDIA A100、A30 和 A40 GPU 提交。包括华硕、戴尔科技、富士通、技嘉、惠普企业、联想和美超微在内的系统制造商总共使用了九个 NVIDIA 认证系统来提交他们的申请。

在最新一轮中，至少有 3 家公司与 NVIDIA 一起提交了所有 8 个 MLPerf 训练工作负载的结果。这种多功能性很重要，因为现实世界的应用程序通常需要一套不同的 AI 模型。

NVIDIA 合作伙伴之所以参与 MLPerf，是因为他们知道对于客户评估 AI 平台和供应商而言，这是一个有价值的工具。

NVIDIA AI 平台提供从芯片到系统、软件和服务的完整堆栈。这可以随着时间的推移实现持续的性能改进。

例如，最新 HPC 测试中的提交应用了 技术文章中描述的一套软件优化和技术。他们一起将一个基准测试的运行时间缩短了 5 倍，从 101 分钟缩短到 22 分钟。

NVIDIA 还针对企业 AI 基准测试优化其平台。例如，我们使用 NVIDIA DALI  为计算机视觉基准有效地加载和预处理数据。

测试中使用的所有软件都可以从 MLPerf 存储库中获得，因此任何人都可以获得这些世界级的结果。NVIDIA 不断将这些优化整合到 NGC 上可用的容器中，  NGC是 GPU 应用程序的软件中心。