一家要吊打所有数字芯片的AI芯片公司

一家初创公司刚刚走出隐秘模式，预示着其将开发和制造人工智能超导处理器原型。Extropic 公司最近完成了 1410 万美元的种子轮融资，并声称将实现创建 AI 加速器的目标，“其速度比数字处理器（CPU/GPU/TPU/FPGA）快很多数量级，而且能效更高。”

该公司由前 Alphabet X 量子研究员 Guillaume Verdon 领导，还发布了其“ Litepaper ”简介，让人一睹其正在构建的全栈热力学硬件平台的诱人风采。

Extropic 认为，当前可用的数字处理器不太适合人工智能加速。该论文介绍了一种新颖的概率计算范式，据说这种计算范式远离了日益复杂的原始数字计算机，而有利于更加“biological”和“noisy”的东西。Extropic 的原型被动热力学芯片运行人工智能中物理使用的概率算法类型，作为一种快速且节能的基于物理的过程。这使得它们比传统的计算处理器更适合当前的人工智能算法，传统的计算处理器相当不自然地试图接受概率和不确定性，从而导致效率低下。

论文中还有更多关于 Extropic“通过热力学计算实现 AI 加速的革命性方法”背后的科学讨论。然而，我们最感兴趣的是看到该公司的演示芯片，了解它的工作原理以及它的功能。在上图中，您可以看到第一个 Extropic 芯片神经元设计之一的显微镜图像。据说这些芯片是用铝纳米制造的，可以在低温下运行，因此具有超导性。

您可以看到照片中突出显示的两个约瑟夫森结，这些应该是适合人工智能面临的复杂非线性问题类型的晶体管式组件。我们看到的只是一个小型处理器构建块，它将与大型超级计算系统中的许多其他线性和非线性神经元一起使用。

这一切听起来可能非常雄心勃勃，但 Extropic 也在准备在室温下运行的半导体设备，以扩大其影响范围，以获得更大、更直接的市场机会。这些设备将使用晶体管代替约瑟夫森结，牺牲能源效率，但使类似 GPU 的扩展卡成为可能。除了硬件之外，Extropic 还忙于开发软件，将基于能量的模型 (EBM) 的抽象规范解释给其处理器。

公司创始人 Verdon 实现上述目标的是一支由曾在 Alphabet、AWS、Meta、IBM 和 Nvidia 等公司工作过的专家组成的团队。希望在不久的将来我们能听到更多来自 Extropic 的消息。

AI时代对算力的需求正以前所未有的指数级速度增长。幸运的是，在过去的几十年里，CMOS 晶体管技术遵循摩尔定律实现小型化，使得这种指数级增长在很大程度上可以通过提高计算机效率来实现。

不幸的是，摩尔定律开始放缓。其原因植根于基础物理学：晶体管正在接近原子尺度，其中热噪声等效应开始禁止严格的数字操作。

因此，现代人工智能的能源需求开始腾飞。主要参与者提出了一些极端措施，例如建设专门用于大型模型训练和推理的核反应堆驱动数据中心。继续这种扩展几十年将需要前所未有规模的基础设施工程工作，并且代表着扩展人类总体智能的艰巨道路。

另一方面，生物学既不是刚性的，也不是数字化的，并且其计算电路比人类迄今为止建造的任何东西都要高效得多。细胞间化学反应网络驱动生物系统中的计算。细胞很小，因此这些网络中反应物的数量是可数的。因此，反应物之间的反应确实是离散的且本质上是随机的。这种内在随机性的相对效应与反应物分子的数量成反比，因此，波动往往主导这些系统的动力学。

由此，我们可以肯定地说，数字逻辑的约束并没有束缚计算设备效率的根本原因。工程挑战很明显：我们如何从头开始设计一个完整的人工智能硬件和软件系统，使其能够在本质上嘈杂的环境中蓬勃发展？

基于能量的模型（EBM）提供了潜在解决方案的线索，因为它们是热力学物理学和基础概率机器学习中都出现的概念。在物理学中，它们被称为参数化热状态，由具有可调参数的系统的稳态产生。在机器学习中，它们被称为指数族。

众所周知，指数族是参数化概率分布的最佳方式，需要最少量的数据来唯一确定其参数[8]。因此，它们在低数据情况下表现出色，其中包括需要对关键任务应用程序中的尾部事件进行建模的场景，如图 1 所示。它们实现这一目标的方法是用噪声填充数据中的空白；他们寻求最大化熵，同时匹配目标分布的统计数据。这种幻觉数据集中未包含的每种可能性并大力惩罚此类事件的过程需要在训练和推理时使用大量随机性。

图 1：Extropic 概率 AI 加速器的原理

这种取样要求一直是 EBM 生产使用的主要限制因素。其根本原因是，在数字硬件上从通用能源景观中进行采样非常困难，数字硬件必须消耗大量电能来生成和塑造扩散过程所需的熵。从硬件的角度来看，数字采样似乎很做作：当最常见和计算密集型的算法发生变化并充满噪音时，为什么要花这么多精力来构建日益复杂的原始数字计算机呢？

Extropic 正在通过将 EBM 直接实现为参数化随机模拟电路来缩短这种低效率并释放生成式 AI 的全部潜力。在基于复杂景观采样的算法的运行时间和能源效率方面，Extropic 加速器将比数字计算机实现多个数量级的改进。

反方加速器的工作原理类似于布朗运动。在布朗运动中，悬浮在流体中的宏观但轻质的粒子由于与微观液体分子的多次碰撞而受到随机力。这些碰撞导致颗粒在容器周围随机扩散。人们可以想象用弹簧将布朗粒子固定在血管壁上并相互固定，如图 2 (a) 所示。在这种情况下，弹簧将抵抗随机力，并且颗粒将比其他部分更倾向于停留在容器的特定部分。如果重复对粒子的位置进行采样，并在采样之间等待足够长的时间（如图 2 (b) 所示），就会发现它们遵循可预测的稳态概率分布。如果我们改变弹簧的刚度，这种分布就会改变。这个简单的机械系统是可编程随机性的来源。

图 2：Extropic 加速器的工作原理  (a) Extropic 加速器的简单机械类比。由于二维中有三个质量，因此该设备的稳态将是 6 维空间上的概率分布。(b)可以通过重复观察系统、在观察之间等待至少平衡时间 teq，从反热带加速器中抽取样本。teq 是系统中的噪声破坏与先前样本的所有相关性所需的时间。

该机械图与构成 Extropic 加速器的参数化随机模拟电路之间存在直接联系。轻质粒子代表电子，液体分子代表导电介质的原子，它们可以在碰撞时将能量传递给电子。弹簧代表限制电子运动的电路元件，例如电感器或晶体管。可以应用控制电压/电流来调整这些组件的值，从而改变电路采样的分布。

尽管每个电路都有噪声，但并非每个电路都可用作 Extropic 加速器。从工程角度来看，制造一种噪声主导但性能良好的设备具有挑战性。热波动很小，因此设备必须体积小且功耗低才能受到热波动的强烈影响。出于这个原因，如果想要用宏观组件（例如 PCB 上的组件）制造 Extropic 加速器，就必须引入合成噪声。这样做会削弱基本的时间和能源节省，最终的表现与数字运行算法类似。

Extropic 的首款处理器采用纳米铝制成，可在超导的低温下运行。图 3 显示了一个测试了几种可能的超导神经元设计的早期设备。其中一些神经元类似于现有的超导通量量子位。这些神经元利用约瑟夫森效应作为非线性源，当两个超导体彼此靠近时就会发生这种情况。这种非线性对于设备访问非高斯概率分布是必需的，这对于模拟具有厚尾的实际应用程序是必需的。此外，数字高斯采样例程无处不在且高度优化。因此，如果模拟设备要比传统处理器提供相当大的加速，则需要非高斯性。

图 3：Extropic 芯片的显微镜图像

这些神经元提供了基本的构建块，组合起来形成更大的超导系统。在这样一个更大的系统中，许多线性和非线性神经元组合在一起，创建一个从丰富且高维分布中采样的电路。神经元偏差和相互作用强度都是分布的可调参数，允许单个设备体现广泛的概率分布族。

Extropic 的超导芯片完全是无源的，这意味着我们仅在测量或操纵其状态时消耗能量。这可能使这些神经元成为宇宙中最节能的神经元。这些系统将在规模上实现高度节能：Extropic 的目标是使用这些系统的小批量、高价值客户，例如政府、银行和私有云。

Extropic 还在制造可在室温下运行的半导体器件，以将我们的业务范围扩展到更大的市场。这些器件将约瑟夫森结换成了晶体管。与超导设备相比，这样做会牺牲一些能源效率。作为交换，它允许人们使用标准制造流程和供应链来构建它们，从而实现大规模生产。由于它们在室温下运行，因此可以将它们封装到类似 GPU 的扩展卡外形中。这将使我们能够在每个家庭中放置一个 Extropic 加速器，使每个人都能参与热力学 AI 加速。

为了支持广泛的硬件底层，Extropic 还构建了一个软件层，可将 EBM 的抽象规范编译为相关的硬件控制语言。该编译层建立在因子图[8]的理论框架之上。因子图指定了多大的分布分解为局部块。这使得 Extropic 加速器能够分解并运行太大而无法适应任何给定模拟核心的程序。

之前很多AI加速器公司都因为深度学习的内存限制而苦苦寻找优势；今天的算法花费大约 25% 的时间在内存中移动数字。因此，根据阿姆达尔定律，任何加速特定运算（例如矩阵乘法）的芯片都很难实现 4 倍以上的加速。由于 Extropic 芯片通过物理运行作为一个快速且节能的过程来原生地加速广泛的概率算法，我们必将解锁一个全新的人工智能加速机制，远远超出以前认为可以实现的水平。

今天是《半导体行业观察》为您分享的第3710期内容，欢迎关注。

★EUV光刻机重磅报告，美国发布

★碳化硅“狂飙”：追赶、内卷、替代

★芯片巨头，都想“干掉”工程师！

★苹果，玩转先进封装

★GPU的历史性时刻！

★大陆集团，开发7nm芯片

★张忠谋最新采访：中国会找到反击方法

★EUV光刻的新“救星”