比英伟达H100快90%！最强大模型AI芯片来了，首搭141GB HBM3e

这也是首款内置全球最快内存HBM3e的GPU，英伟达的新闻稿写道，GPT-3的推理表现中，H100的性能比A100提高了11倍，H200 Tensor Core GPU的性能比A100提高到了18倍。

在生成式AI基准测试中，H200 Tensor Core GPU每秒在Llama2-13B大型语言模型上每秒快速通过1.2万个tokens。

八路配置的HGX H200提供超过32PetaFLOPS的FP8深度学习计算和1.1TB聚合高带宽内存，可在生成式AI和HPC应用中实现最高性能。

当与具有超快NVLink-C2C互连的NVIDIA Grace CPU配合使用时，H200还创建了带有HBM3e的GH200 Grace Hopper超级芯片，这是可以服务于大规模HPC和AI应用的集成模块。

基于此，H200可以部署在各种类型的数据中心中，包括本地、云、混合云和边缘。包括华硕、戴尔科技、惠普等在内的英伟达全球生态系统合作伙伴服务器制造商也可以使用H200更新其现有系统。

H200将于2024年第二季度开始向全球系统制造商和云服务提供商供货。

除了AI算力和云服务公司CoreWeave、亚马逊无服务器计算服务Lambda和云平台Vultr之外，AWS、谷歌云、微软Azure和甲骨文云将从明年开始成为首批部署基于H200实例的云服务提供商。