为啥呢？原来在最新的 MLPerf 基准测试中，英伟达 H100 GPU 芯片组在以下八项基准测试中全部创下了新纪录，同时成为唯一一个跑完所有测试的硬件平台。据悉，最新 MLPerf Training v3.0 包含了基于 GPT-3 175B 的大型语言模型（LLM）测试，侧重于生成式 AI 能力。LLM 训练测试中还使用了专注于 GPU 加速的云计算服务提供商 CoreWeave 提供的 NVIDIA HGX H100 基础设施，在多个规模上联合提交了 LLM 工作负载。出来的结果令人振奋：在 896 个英特尔 Xeon Platinum 8462Y 和 3584 个英伟达 H100 芯片的合作下，仅仅用了 11 分钟就完成了基于 GPT-3 的 LLM 训练任务。先是 PyTorch 创始人 Soumith Chintala，他认为 GPT-3 并没有在 11 分钟内训练完成。使用 3584 个 H100 GPU，GPT-3 架构在 C4 数据集上训练了 11 分钟，对数概率为 2.69。这里不要只关注「11 分钟」，因为这就像说「ResNet-50 在 MNIST（其实这里他想说的是 CIFAR100）上，5 秒内训练达到了 80％的准确率。」推特用户 @abhi_venigalla 对 Soumith 的观点表示赞同，他是生成式 AI 创业公司 MosaicML 的研究者。他认为 MLPerf 基准测试中训练 GPT-3 的时间更可能是 2 天。在他看来，该基准测试并不是完整的 GPT-3。MLPerf 的 LLM 基准只提供了一个开始的检查点，然后必须达到目标损失。因此，该基准 11 分钟跑完 GPT-3 只覆盖 1.2B 的 token，而非完整的 300B token。此外看起来更像是 540 TFLOPs/H100，从配置上看像 FP8，~27% MFU。不过他也承认，从 H100 在其软件生命周期早期这一点来看，以此规模实现现在这种性能也相当惊人。所以，最新 MLPerf 基准测试中 11 分钟训完 GPT-3 是不是被误解呢？评论区的小伙伴也可以发表下自己的观点。参考链接：https://developer.nvidia.com/blog/breaking-mlperf-training-records-with-nvidia-h100-gpus/点击进入—>【目标检测和Transformer】交流群
最新CVPR 2023论文和代码下载
后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者ransformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer333，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉，已汇集数千人！
▲扫码进星球
整理不易，请点赞和在看
