“黄氏定律”，英伟达AI成功的秘诀

据称，与过去十年 GPU 推理性能提升 1,000 倍相比，流程增益的重要性要低得多。

当人们争论摩尔定律在 2020 年代是否会放缓、是否仍然适用，甚至是死是活时，Nvidia 的科学家们预示着黄氏定律背后的令人印象深刻的势头。据称，在过去十年中，Nvidia GPU 人工智能处理能力增长了 1000 倍。黄定律意味着我们在“单芯片推理性能”中看到的加速现在不会逐渐消失，而是会继续出现。

英伟达周五发布了一篇有关黄氏定律的博文，概述了黄氏定律背后的信念和工作实践。有趣的是，Nvidia 首席科学家 Bill Dally 所描述的“后摩尔定律时代计算机性能如何实现的结构性转变”主要基于人类的聪明才智。建立法律时，这一特征似乎有些不可预测，但达利认为，下面令人印象深刻的图表标志着黄氏定律的开始。

根据 Dally 最近在 Hot Chips 2023 会议上的演讲，上图显示过去十年 GPU AI 推理性能增长了 1000 倍。英伟达首席科学家表示，有趣的是，与摩尔定律不同，工艺缩小对黄氏定律的进展几乎没有影响。

Dally 回忆起如何通过改变 Nvidia GPU 底层数字处理来实现 16 倍的增益。使用 Transformer 引擎的Nvidia Hopper架构的到来带来了另一个巨大的推动。据称，Hopper 使用 8 位和 16 位浮点与整数数学的动态组合，实现了 12.5 倍的性能飞跃，并且节省了能源。这位科学家表示，此前，Nvidia Ampere引入了结构稀疏性，使性能提高了 2 倍。NVLink 和 Nvidia 网络技术等进步进一步增强了这些令人印象深刻的成果。

Dally 最令人惊讶的说法之一是，AI 推理性能的复合收益超过 1000 倍，与流程改进带来的收益形成鲜明对比。Hot Chips 的 Dally 表示，在过去十年中，随着 Nvidia GPU 从 28 纳米工艺转向 5 纳米工艺，半导体工艺改进“仅占总收益的 2.5 倍”。

在“用巧思和努力发明和验证新鲜食材”等理念的背后，黄氏法则将如何快速发展？值得庆幸的是，Dally表示他和他的团队仍然看到了加速人工智能推理处理的“几个机会”。探索的途径包括“进一步简化数字的表示方式，在人工智能模型中创造更多的稀疏性以及设计更好的内存和通信电路。”

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第3541期内容，欢迎关注。