从零开始手搓GPU，照着英伟达CUDA来，只用两个星期

2024-05-12 04:05

机器之心报道

编辑：泽南、小舟

从学习芯片的基础知识开始。

「我花两周时间零经验从头开始构建 GPU，这可比想象的要难多了。」

总有人说老黄的芯片供不应求，大家恨不得去手搓 GPU，现在真的有人试了。

近日，美国一家 web3 开发公司的创始工程师之一 Adam Majmudar 分享了他「手搓 GPU」成功的经历，引发了网友们的一大片点赞。令人惊讶的是，他仅用两周时间就完成了这一脑力壮举。在 Twitter/X 的主题帖子中，Majmudar 进行了直播，一步步带我们回顾了整个过程。

自造 GPU 的实践当然也被公开在 GitHub 上，现在这个项目已有 5300 的 Star 量了。

项目链接：https://github.com/adam-maj/tiny-gpu

需要明确的是，该项目目前的节点是在 Verilog 中的芯片布局，最终通过 OpenLane EDA 软件进行了验证。在这之后，GPU 还将通过 Tiny Tapeout 7 提交流片，因此注定会在未来几个月内成为物理形态的芯片。

Majmudar 详细列出了设计 GPU 所完成的任务流程。显然，作为一个「从头开始」的项目，在试探性迈出第一步之前就需要进行大量的研究和思考。由于专有技术的主导地位，GPU 是一个相对复杂的研究领域，想想就难，实践起来更难。

手搓 GPU 要分几步？

实际上对于 Majmudar 来说，操作比这个步骤还要多，因为他真的没啥技术基础，是从学习 GPU 架构的基础知识开始的。

他首先开始尝试通过学习英伟达的 CUDA 框架来理解 GPU 软件模式，进而理解了用于编写 GPU 程序（称为内核）的相同指令多数据 (SIMD) 编程模式。

有了这些背景，Majmudar 开始深入学习 GPU 的核心元素：从全局内存、计算核心、分层缓存、内存控制器到程序调度。

然后在每个计算核心中，我们还要了解其中的主要单元：包括寄存器、本地 / 共享内存、加载存储单元 (LSU) 、计算单元、调度程序、获取器和解码器。

好了，你已经是一个了解了现代 GPU 架构的人了，下面让我们来手搓一块 GPU 吧。

此处 Majmudar 表示，由于复杂性如此之高，我们必须将 GPU 简化到新手能够设计的水平，否则项目就工期爆炸了。

接下来就是创建一个自己的 GPU 架构。我们的目标是创造一个最小的 GPU 来突出 GPU 的核心概念，并消除不必要的复杂性，以便其他人可以更轻松地了解 GPU。

Majmudar 表示，设计自己的 GPU 架构是一项令人难以置信的实践。

他一边学习一边操作，随后决定在设计中强调以下几点：

并行化 - 在硬件中实现 SIMD 模式；
内存访问 - 观察 GPU 如何应对从缓慢且带宽有限的内存访问大量数据的挑战；
资源管理 - 最大限度提高资源利用率和效率。

通过对上述架构的多次迭代，Majmudar 决定专注于通用并行计算 (GPGPU) 功能，面向机器学习（machine learning）的更广泛用例。

设计称得上紧跟时代。

这里的一切都是最简单的形式。

第三步是为这块 GPU 编写自定义的汇编语言。

Majmudar 表示，其中一个最关键的因素是他 GPU 实际上可以执行用 SIMD 编程模式编写的内核。为了实现这一点，就必须为 GPU 设计自己的指令集架构（ISA），以便用来编写内核。他制作了自己的 11 条小型指令 ISA，该 ISA 受到 LC4 ISA 的启发。在这之后，他又编写一些简单的矩阵数学内核作为概念证明。

这是 Adam Majmudar 提出的 ISA 的完整表格，其中包括每条指令的确切结构。

接下来，Majmudar 编写了两个在其 GPU 上运行的矩阵数学内核。这些矩阵加法和乘法内核将演示 GPU 的关键功能，并提供其在图形和机器学习任务中应用有效的证据。

为矩阵加法和乘法编写的内核。

Majmudar 用 Verilog 构建 GPU 带来了许多问题。这是最困难的部分，学会了很多知识，但也多次重写了代码。值得一提的是，Majmudar 得到了美国知名黑客 George Hotz 的建议与帮助。

最初，他将全局内存实现为 SRAM，大佬给出的反馈说这违背了构建 GPU 的整个目的 ——GPU 的最大设计挑战是管理访问有限带宽的异步内存（DRAM）延迟。

因此，Majmudar 最终使用外部异步内存重建了设计，并最终意识到还需要添加内存控制器。

其次，Majmudar 一开始是用 warp-scheduler 来实现 GPU 的，这是一个很大的错误，对于该项目来说太复杂且没有必要。还好 George Hotz 及时提出了反馈。当一开始收到反馈时，Majmudar 甚至没有足够的背景知识来完全理解它，所以花了很多时间尝试构建一个 Warp 调度程序，这才醒悟过来。

这还没有完，一开始的设计中，Majmudar 没有在每个计算核心内正确实现调度，因此不得不回过头，分阶段设计计算核心执行以获得正确的控制流。

最终，Majmudar 对代码的第三次重写实现了目标，修复了计算核心的执行调度。

这是用 Verilog 构建的 GPU 中单个线程的执行流程，它的执行方式与 CPU 非常相似。