英伟达H100，没那么缺货了！RTX 4090 ，大涨！

可以肯定的是，在接下来的几个月里，使用 Nvidia GPU 的长队可能会变得更短。

过去几个月，众多大大小小的公司都报告称收到了数千块 H100 GPU。

这样，在云端使用 H100 GPU 的排队时间可能会缩短。数据中心提供商和前比特币挖矿公司正在开设具有 H100 集群的数据中心。这些公司承诺以大型云提供商成本的一小部分提供 H100 GPU 计算，而大型云提供商对 H100 GPU 加速的虚拟机收取高价。 

亚马逊最近宣布，将在其网站上对 H100 GPU 进行 1 至 14 天的预订，以应对未来需求的激增。 

供应正常化也有助于企业将人工智能计划付诸实施。HPCwire 就短缺问题是否已得到解决联系了 Nvidia，但该公司拒绝发表评论。

几个月前，特斯拉首席执行官埃隆·马斯克注意到 GPU 短缺，并正在等待接收 Nvidia GPU 以提高人工智能能力。马斯克表示，特斯拉启动了由 10,000 个 H100 GPU 组成的集群，并且部署速度极快。 

“训练是全自动驾驶和车辆自主进展的根本限制因素，”马斯克在上个月的财报电话会议上表示。

Nvidia 一直在对 H100 进行配给，并根据 AI 模型的规模、可用基础设施和客户概况来评估客户。  这家芯片制造商优先考虑各个行业财力雄厚的客户。Nvidia 还选择了能够积极反映其 GPU 最佳利用的客户。特斯拉符合顶级客户的形象，拥有明确的人工智能模型。

Nvidia 还提供了关于客户何时收到 H100 GPU 的更清晰的时间表。数据中心提供商 Applied Digital 购买了 34,000 个 H100 GPU，其中 26,000 个将在 4 月份部署，此后还会再部署 8,000 个。

Applied Digital 于 9 月开始收到 5 月下达的 GPU 订单。9 月份，它收到了 1,024 个 GPU，首席执行官 Wes Cummins 估计这个数字在 10 月份翻了一番，并且“11 月、12 月以及 1 月份这个数字可能会显著增加”。 

该公司还在北达科他州埃伦代尔破土动工新建一个高性能计算数据中心，该数据中心可在计算集群中托管 50,000 个 Nvidia H100 SXM 级 GPU。

英伟达还向能够签署采购订单的小型客户提供服务。

Iris Energy 正在创建人工智能计算基础设施，支付了约 1000 万美元购买了 248 个 Nvidia GPU。预计在未来几个月内交付。该公司在上个月向美国证券交易委员会提交的一份文件中表示。

H100 将为 Iris Energy 启动一项新的人工智能业务，该公司早些时候已将自己定位为加密货币矿工。这家澳大利亚公司看到了更大的生成人工智能市场，并正在改造其位于美国和加拿大的比特币挖矿数据中心，以进行人工智能计算。

由亿万富翁 Jed McCaleb 资助的初创公司Voltage Park 收到了大量 24,000 个 Nvidia H100 GPU，这些 GPU 分布在华盛顿州、德克萨斯州和弗吉尼亚州的集群中。

“订单是在 2023 年 4 月左右下的。团队很清楚……紧要关头即将到来，因此他们提前下了一份非常大的订单，以保证有足够的供应，”Voltage Park 的 Eric Park 在一封电子邮件中表示。

这些 GPU 已经为人工智能公司 Imbue 提供服务，该公司似乎与Voltage Park 有着密切的联系。Nvidia 和 Jed McCaleb 创立的 Astera Institute 都是 Imbue 的投资者之一。

Voltage Park 还旨在通过支持名为 FLOP Auction 的计划，为客户提供廉价的 H100 GPU 计算能力。它就像 eBay 在 H100 上进行人工智能计算一样，出价最高者获得服务器时间。

Park 表示：“这是一个早期项目，旨在研究进入Voltage Park H100 集群的拍卖机制。我们的想法是，通过拍卖时间而不是合同，这有助于保证市场价格和透明的流程。”

当前每小时 H100 集群FLOP 拍卖的中标价格比Google Cloud 上2017 年发布的 V100 的每小时价格便宜。胜利取决于合同规模和承诺。

H100 热潮还为计算机硬件的价值赋予了全新的含义，GPU 成为新业务的抵押品。

Crusoe Energy 是一家前加密货币矿商，以 20,000 台 H100 作为抵押，获得了 2 亿美元的融资。同样，GPU 计算提供商 CoreWeave 也以 H100 作为抵押获得了价值 24 亿美元的融资。

Crusoe 的 GPU 容量将于明年第一季度投入使用。该公司已经提供了在较旧的 Nvidia GPU 上运行的集群。

甚至一家cannabis公司也加入了 H100 热潮。总部位于科罗拉多州的 American Cannabis 公司已同意与 HyperScale Nexus Holding Corp. 合并，该公司希望围绕 Nvidia 的 H100 GPU 创建业务。

将内存和芯片结合在一起的 CoWoS 封装的短缺加剧了 GPU 的短缺。英伟达正在帮助台积电寻找新的合作伙伴和供应商来解决短缺问题。 

展望未来，其他因素可能会意外地结束短缺并加速 Nvidia 的 GPU 出货量。

美国政府最近对英伟达向中国公司出口A800、H800和L40S系列GPU实施了限制。这可以打开 CoWoS 封装并释放制造能力，为美国和其他市场生产更多 H100 芯片。

Nvidia 没有直接向客户提供 GPU，而是通过云提供商租用 GPU 来扩展 H100 容量。云提供商部署的 GPU 服务器是 DGX 参考模型的复制品，其中包括 8 个 H100 GPU。 

市场研究公司表示：“这一转变还可能激发 Nvidia 拥护以 A100 或 H100 AI 服务器为基础的 DGX 云订阅和租赁模式的热情，甚至扩大其视野以纳入更多样化的云服务（L40S 等）。” TrendForce 在 10 月份发布的研究报告中表示。

Oracle 在 9 月份宣布全面推出 Nvidia H100 裸机计算服务。 

谷歌于 8 月下旬宣布推出 A3 超级计算机，该计算机可根据计算需求容纳多达 26,000 个 H100 GPU。 

微软首席财务官 Amy Hood 在最近的财报电话会议上表示，微软还提高了 GPU 容量，从而更好地利用其人工智能服务。 

Azure 云服务是围绕 Nvidia 的 GPU 构建的。微软宣称其 Azure 超级计算机是世界上最快的服务器系统之一。

该公司可能会在 11 月 21 日的下一次财报电话会议上提供 GPU 供应的最新信息。

尽管对 H100 的需求炙手可热，Nvidia 最近还是宣布了更新的路线图，计划在未来三年推出新的 GPU。 

加密货币热潮崩溃后，许多加密农场留下了大量未使用的 GPU。其中一些公司设法为他们的 GPU 找到其他用途，但仍有数千家公司闲置。Io.net 开发了一个分布式网络，可以汇集数十万个 GPU 并将它们用于人工智能应用程序——显然目前有 107,000 个 GPU 处于等待名单上。

Io.net开发了一个去中心化物理基础设施网络（DePIN），支持来自不同地理位置的数据中心和加密货币矿工的GPU计算能力的池化和集群化。该网络旨在通过聚合世界各地未充分利用的 GPU 来为人工智能和机器学习工作负载提供资源。为了吸引 GPU 所有者，Io.net 推出了 70 万美元的激励计划，鼓励他们为网络贡献资源。

虽然 Io.net DePIN 的主要想法是聚合数据中心和各个加密货币矿工未使用的 GPU 计算资源，但该公司还与专门从事远程渲染的 Render 网络合作，以获得对额外 GPU 的访问权限。

Io.net 并不是当今唯一的 GPU 资源 DePIN，但该公司表示，它实际上可以在几分钟内聚集来自不同地理位置的 GPU 资源，这与一些竞争对手不同。

Io.net 首席运营官托里·格林 (Tory Green) 在接受 Cointelegraph 采访时表示：“问题在于它们并没有真正集群。” “它们主要是单实例，虽然他们的网站上确实有集群选项，但销售人员很可能会调用所有不同的数据中心来查看可用的内容。”

就功能而言，最接近的竞争对手是面向人工智能的服务，例如 Akash Network，该网络由 8 到 32 个 GPU 组成。

Io.net 的平台允许客户挑选他们想要使用的 GPU 的数量和位置以及安全设置，从而使企业和机器学习工程师能够更轻松地获得他们所需的计算能力。

该公司使用 Solana 区块链技术来管理其网络内的微交易，以便向 GPU 计算提供商付款。Solana 的技术可以促进大量小额交易，而传统区块链可能无法有效地处理这些交易，因为处理时间较慢/费用较高。这使得 Solana 成为 Io.net 基础设施的关键组成部分，使其能够通过强大的支付系统运行 GPU 计算能力的去中心化网络。

Nvidia RTX 4090目前是最佳显卡中速度最快的 GPU，在我们的GPU 基准测试层次中处于杆位。它从来就不是一款价格实惠的卡，建议零售价为 1,599 美元，但最近的趋势是价格更高。在美国，我们看到价格最低的卡在过去一个月的成本上涨了 10%，并且查看亚马逊上的特定型号，其中一些价格上涨得更多。有多种因素可能在起作用。

首先，或许也是最重要的一点，从 11 月 17 日开始，RTX 4090 将受到中国出口限制。这要归功于其原始计算能力，但也可能是因为它有点太像数据中心 Nvidia L40 和 L40S——它们使用相同的数据中心AD102芯片为4090。但限制这些GPU出口到中国也意味着在中国组装显卡也被禁止。大多数显卡公司出于成本原因在中国进行显卡组装，因此华硕、技嘉、微星、PNY 等都将不得不将 4090 卡的生产转移到其他地方，而以中国为中心的品牌可能不得不完全停止生产。

查看 CamelCamelCamel 上的一些定制 RTX 4090 卡，可以深入了解最近几个月的进展情况。华硕RTX 4090 TUF OC触底价为 1,699 美元，但现在售价为 1,819 美元——亚马逊上该卡的最高价格。同样，华硕 4090 ROG Strix OC在 5 月份触及 1,885 美元的低点，但在 10 月份飙升至 2,173 美元，目前价格为 2,640 美元（因为它基本上缺货）。

我们可以尝试看看其他 4090 型号，但还有另一个令人不安的趋势：大多数 4090 卡开始缺货。是因为需求增加了吗？这是可能的，但可能性不大。更有可能的是，供应已经枯竭，要么是因为制造成本太高，要么是因为其他产品正在酝酿之中。

这就引出了影响价格和可用性的第三个潜在因素：传闻已久的 RTX 4090 Ti。在过去一年的大部分时间里，我们一直听到有关 4090 Ti（有时也称为新 Titan RTX）的所谓“泄露”消息。当然，Nvidia 在创建 RTX 4090 时为更高性能的 AD102 部件留出了空间。但考虑到 4090 的 16 针连接器故障及其已经有些令人厌恶的 450W TGP 额定值，推出了 600W 或更高的 RTX 4090 Ti TGP 似乎会带来更多问题。

尽管如此，最新的Nvidia RTX 4070 Ti Super 传闻还提到了 RTX 4070 Super、RTX 4080 Super 和 RTX 4090 Ti。这可能会发生，也可能不会发生，但如果 4090 Ti 将在未来几个月内推出（1 月份的 CES 2024 似乎确实有可能），显卡制造商几乎肯定会停止普通 4090 卡的生产。

这是因为 4090 目前是光环产品，价格也与之相匹配。那些想要尽可能快的 GPU 的人可能会被吸引去购买 4090 而不是 4080，但出于同样的原因，如果存在 4090 Ti，他们为什么会选择去年推出的倒数第二个 GPU？换句话说，如果 Nvidia 推出 4090 Ti，它很可能会停产 4090，或者至少减少该部件的产量。

还有另一个愤世嫉俗的因素也可能在起作用。理论上，黑色星期五 GPU 销售即将到来。虽然我们通常不会看到很多显卡促销活动，但我们经常会在促销开始前看到价格呈上涨趋势。今年早些时候售价为 600 美元的 GPU 可能会在一个月左右的时间内突然升至 700 美元，然后再次以 600 美元的价格“上市”。“节省 14%！”

我们无法确定上述每个因素如何影响 RTX 4090 的定价方程，但我们确实知道4090 的价格在过去两个月里一直在攀升。理想情况下，我们将在不久的将来获得一款新的 RTX 4090 Ti，建议零售价与 4090 相同，均为 1,599 美元。不幸的是，更有可能的是，这样的卡——如果它存在并且很快就会推出——将使建议零售价提高一个档次。无论如何，我们将继续跟踪价格，等待事情的最终结果。

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第3579期内容，欢迎关注。