GPU短缺和成本问题，如何破？

公众号新闻

2023-09-03 04:09

来源：内容由半导体行业观察（ID：icbank）编译自venturebeat，谢谢。

由 GPT-4 等大型语言模型 (LLM) 支持的生成式人工智能在科技界引起了巨大震动。ChatGPT 的迅速崛起引发了全球科技行业对人工智能的重新评估和优先考虑，实时重塑了产品战略。

LLM 的整合为产品开发人员提供了一种简便的方法，将人工智能驱动的功能融入到他们的产品中。但并非一帆风顺。产品领导者面临着一个巨大的挑战：GPU 短缺和成本飙升。

LLMs的兴起和GPU短缺

越来越多的人工智能初创公司和服务导致对 A100 和 H100 等高端 GPU 的高需求，从而压垮了 Nvidia 及其制造合作伙伴台积电，两者都在努力满足供应。Reddit 等在线论坛上充斥着对 GPU 可用性的不满，这呼应了整个技术社区的情绪。情况变得如此可怕，AWS 和 Azure 都别无选择，只能实施配额系统。

这个瓶颈不仅挤压了初创企业，也挤压了初创企业的发展。对于 OpenAI 这样的科技巨头来说，这是一个绊脚石。最近在伦敦举行的一次非正式会议上，OpenAI 首席执行官 Sam Altman坦诚承认，计算机芯片短缺正在阻碍 ChatGPT 的进步。据报道，Altman 感叹计算能力的缺乏导致 API 可用性低于标准，并阻碍 OpenAI 为 ChatGPT 推出更大的“上下文窗口”。

优先考虑AI功能

一方面，产品领导者发现自己陷入了不懈的创新之中，面临着利用新一代人工智能的力量提供尖端功能的期望。另一方面，他们还要应对 GPU 容量限制的严峻现实。这是一个复杂的杂耍行为，无情的优先顺序不仅成为战略决策，而且成为必要。

鉴于 GPU 可用性在可预见的未来仍将是一个挑战，产品领导者必须战略性地考虑 GPU 分配。传统上，产品领导者依赖于优先级划分技术，例如客户价值/需求与努力矩阵。无论这种方法在计算资源丰富的世界中多么合乎逻辑，现在都需要进行一些重新评估。

在我们当前的范式中，计算是限制因素，而不是软件人才，产品领导者必须重新定义如何确定各种产品或功能的优先级，将 GPU 的限制带到战略决策的最前沿。

对于科技行业来说，围绕容量限制进行规划似乎不寻常，但在其他行业却是一种常见策略。基本概念很简单：最有价值的因素是在受限资源上花费的时间，目标是优化在该约束上花费的每单位时间的价值。

技术成功指标

作为一名前顾问，我已成功地将这个框架应用于各个行业。我相信，在 GPU 限制存在的情况下，科技产品领导者也可以使用类似的方法来确定产品或功能的优先级。应用此框架时，最直接的价值衡量标准是盈利能力。

然而，在科技领域，盈利能力可能并不总是合适的衡量标准，特别是在涉足新市场或新产品时。因此，我调整了该框架，以与技术中普遍使用的成功指标保持一致，概述了一个简单的四个步骤过程：

1.贡献

首先也是最重要的，确定你的北极星指标。这是每个产品或功能的贡献，概括了其价值的本质。一些具体的例子可能包括：

收入和利润增加
市场份额的增长
日/月活跃用户数增长

2. 所需GPU数量

衡量每个产品或功能所需的 GPU 数量。重点关注关键因素，包括：

每个用户每天的查询数
日活跃用户数
查询的复杂性（每个查询消耗多少令牌）

3.计算每个GPU的贡献

把它分解到具体细节。每个 GPU 对总体目标有何贡献？了解这一点将使您清楚地了解 GPU 的最佳分配位置。

根据每个 GPU 的贡献确定产品的优先级

现在，是时候做出艰难的决定了。根据每个 GPU 的贡献对您的产品进行排名，然后进行相应的排列。首先关注每 GPU 贡献最高的产品，确保将有限的资源投入到能够产生最大影响的领域。

由于GPU 限制不再是盲点，而是决策过程中的可量化因素，您的公司可以更有策略地应对 GPU 短缺问题。为了使这个框架变得生动起来，让我们想象一个场景，在这个场景中，作为产品领导者，您正在努力应对在四种不同产品之间确定优先级的挑战：

尽管产品 A 具有最高的收入潜力，但它并没有为每个 GPU 带来最高的贡献。令人惊讶的是，产品 D 的收入潜力最小，但每个 GPU 的回报却最高。通过根据此指标确定优先级，您可以最大化总潜在收入。

假设您总共有 1,000 个 GPU 可供使用。一个简单的选择可能会让您选择产品 A，从而产生 1 亿美元的潜在收入。但是，通过应用上述优先级策略，您可以获得 1.55 亿美元的收入：

同样的方法可以应用于其他贡献指标，例如市场份额增益：

同样，选择产品 A 会导致市场份额增加 5%。然而，应用上述优先级策略，您可以获得 7.75% 的市场份额增益：

优点和限制

这种替代的优先级框架引入了一种更加细致和更具战略性的方法。通过专注于每个 GPU 的贡献，您可以战略性地调整资源，使其能够发挥最大的作用，无论是在收入、市场份额还是任何其他定义指标方面。

但优点还不止于此。这种方法还可以增强产品团队的清晰度和客观性。根据我的经验，包括我早期在一家医疗保健公司领导数字化转型以及后来与麦肯锡的各种客户合作时，这种方法在容量限制是关键因素的情况下改变了游戏规则。它使我们能够以更加数据驱动和理性的方式确定计划的优先顺序，从而将传统政治边缘化，否则决策可能会落在房间里最响亮的声音的手中。

然而，不存在一刀切的解决方案，并且值得承认这种方法的潜在局限性。例如，这种方法可能并不总是体现某些投资的战略重要性。因此，虽然可以而且应该对框架做出例外，但应该仔细考虑例外情况，而不是规范。这样可以保持流程的完整性，并确保任何偏差都是在考虑到更广泛的战略背景的情况下做出的。

结论

产品领导者面临着前所未有的GPU 短缺局面，因此需要寻找新的资源管理方法。用伟大的军事家孙子的话来说，“混乱之中也蕴藏着机遇”。

GPU 短缺确实是一个挑战，但如果采取正确的方法，它也可能成为差异化和成功的催化剂。所提出的优先级框架侧重于每个 GPU 的贡献，提供了一种确定优先级的战略方法。通过专注于每个 GPU 的贡献，公司可以最大限度地提高投资回报，将资源调整到能够产生最大影响的地方，并专注于对公司长期成功最重要的事情。

本文作者Prerak Garg是微软云和人工智能企业战略高级总监，也是麦肯锡公司前项目经理。

点击文末【阅读原文】，可查看英文原文。

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第3512期内容，欢迎关注。