GPU用得太多了，数据中心碰到大麻烦

2024-02-03 04:02

👆如果您希望可以时常见面，欢迎标星🌟收藏哦~

来源：内容由半导体行业观察（ID：icbank）编译自hpcwire，谢谢。

GenAI GPU Squeeze的直接影响是降低可用性（无论是直接购买还是云访问）、增加成本并推动需求激增。

过去几年来，一个次要问题一直在发展。即使您的组织使用 GPU 保护了多个机架，您将如何为它们供电以及将它们放置在哪里？

例如，许多大学此前已在其校园数据中心放置了新设备。许多数据中心现在已经“耗尽”，没有更多的空间或电力。当前“GPU 机架”的估计范围为每个机架 50 至 100 KW（千瓦）（之前“CPU 机架”的估计为每个机架 10-17 KW）。如果你想共置 4 个 GPU 机架，那么能够提供 400 千瓦电力的数据中心可能很难找到。

这同样适用于提供 HPC 托管服务的小型公司。他们发现当前的数据中心已经耗尽，必须寻找空间和电力。这些公司是非超大规模企业，无法支撑整个数据中心园区。

JLL公司最近发布的一份报告《Data Centers 2024 Global Outlook》分享了一些有趣的趋势。该报告探讨了数据中心需要如何设计、运营和采购，以满足全球经济不断变化的需求，特别是 GPU 密集型 GenAI 集群所需的功率增加。

人工智能推动的增长预计将持续到不久的将来。预计消费者和企业在未来五年内生成的数据量将是过去十年创建的所有数据的两倍。

除了GPU计算需求外，GenAI的需求不断增长，数据中心存储容量预计将从2023年的10.1 ZB增长到2027年的21.0 ZB，五年复合增长率为18.5%。存储容量的增加将产生对更多数据中心的需求，而生成人工智能的更大能源需求（每个园区 300 至 500 多兆瓦）也将需要更节能的设计和位置。对更多电力的需求将要求数据中心运营商提高效率并与地方政府合作寻找可持续能源来支持数据中心的需求。

报告称，人工智能专用数据中心看起来与传统设施不同，可能需要运营商根据处理的数据类型或 GenAI 开发阶段来规划、设计和分配电力资源。在散热方面，GPU 的大幅增加将超过当前标准。在典型的数据中心中，空气冷却通常占数据中心平均用电量的大约 40%。用户，特别是超大规模企业和运营商，正在从传统的空气冷却方法转向液体冷却和后门热交换器。案例研究表明，液体冷却可显著降低功耗，高达 90%，同时提高性能并允许更密集的系统，从而增加机架功耗。

超大规模企业一直处于采用人工智能和高性能计算 (HPC) 的最前沿，对高密度基础设施的需求最大。目前，他们的大型设施的平均密度预计为每机架 36kW，随着液体冷却密度和 GPU 硬件的增加，IDC 预计未来几年复合年增长率将达到 7.8%，到 2027 年每机架密度将接近 50kW。

来源：仲量联行数据中心2024全球展望

在采访 JLL 美国数据中心市场董事总经理 Andy Cvengros 时， HPCwire 了解到数据中心部署面临的许多问题。

他建议的第一个也是最重要的问题是规划。例如，Cvengros 提到，随着电网的有效利用和变压器的交付时间超过三年，运营商将需要进行创新。

GPU 的挤压正在数据中心层面上进行，其中 4-5 个机架的小型托管部署将很难找到数据中心，因为超大规模企业正在请求整个数据中心园区。

Cvengros 表示，所有主要都市区基本上都已经闲置，而内华达州里诺或俄亥俄州哥伦布等次要地区现在是新数据中心建设的黄金地段。预计需求将持续下去，新的数据中心预计需要 3.5 年才能建成。他重申，“计划是关键。”

他建议与一家专门为小型 HPC GPU 集群托管提供高性能系统的公司合作（即完全耗尽电力和空间的大学）。根据他的经验，数据中心提供商必须积极跟踪全球机会的使用情况和可用性，以提供任何近期托管功能。

数据中心挑战是一个全球性问题

仲量联行报告还列出了全球范围内为解决用电量增加问题所需的关键变革。

在欧洲，三分之一的电网基础设施已有 40 多年的历史，到 2030 年估计需要 5840 亿欧元的投资才能实现欧盟的绿色目标。
在美国，要实现升级电网并为电力供应提供更多可再生能源的能源转型目标，估计需要 2 万亿美元。
数据中心的快速增长也给许多国家有限的能源带来了压力。例如，在新加坡，政府颁布了暂停令，暂时停止某些地区的建设，以仔细审查新的数据中心提案并确保符合该国的可持续发展目标。

全球 GenAI 能源“要求”为数据中心行业带来了机遇和挑战。GenAI 需要的电力规模是前所未有的。为 HPC 找到 GPU 只是问题的一半；在哪里插入它们可能会成为一个更大的挑战。

点这里👆加关注，锁定更多原创内容

END

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第3664期内容，欢迎关注。

推荐阅读