一文了解英特尔神经拟态芯片的研究进展

如今AI的大部分的驱动主要依靠CPU、GPU或者带有非常多矩阵运算的加速器，随着它们的工艺逐渐来到极限，能耗越来越大，于是，类脑的神经拟态计算成为行业研究的一大方向，因为人类大脑只需要20瓦就可以处理和完成不同种类的事情。未来更高级的AI形态或有神经拟态芯片一席。

从神经拟态（Neuromorphic）这个学科来看，其大概有四大特点：一是，脑是由神经元的大规模的结构并行而成，有860亿个神经元；二，低耗能：神经拟态芯片像生物体一样，是事件驱动型的，并不是一直在工作，而是在有事件到来的时候才开始计算、耗能，完成相应的任务。三，其计算模式是低精度模式，像人一样，人们在估计距离的时候，并不能特别准确地计算出1米、1.02米或1.03米，只是有一个大概的空间感觉，凭借这种空间感觉就能进行一些精细的操作。神经拟态芯片的计算也是采用这种类似概率计算，并不是精确到高精度的模式。四、有自适应性和自我修正、持续学习和改造的能力，这点很好理解，人就有自我学习的能力。

那么采用神经拟态计算的方式，相比时下主流的基于诺依曼架构的CPU和GPU芯片所使用的并行计算方式有何优势或者价值呢？主要有三：一方面神经拟态的特点是它能从小样本的数据中持续学习，由于其可塑性，行业认为它或可成为未来较有前途的一个研究方向。二是针对现在的电路架构设计而言，神经拟态计算是一种基于事件的异步处理方式，是基于脉冲处理形式。事件到来时，事件被以脉冲形式表现并进行处理，当没有事件时，整个电路则处在休息和低功耗状态，这是一种异步的处理方式。第三，神经拟态计算是一个并行的、稀疏的计算模式。大量的神经元并行后，事件并不是每时每刻都在发生，不能预估事件何时到来，它的产生是一种基于稀疏化的，即时有时无、无法估计发生频率的状态。

基于这些特点，学界、产业界一直都在尝试如何借鉴这种生物体，寻找新的结构研究方向。在神经拟态计算芯片的研究方面，英特尔是行业一个典型的代表。

早在2017年底，英特尔研究院就推出了第一代的神经拟态芯片Loihi，Loihi芯片使用传统的CMOS半导体工艺，再结合创新的架构做的一种尝试和突破，它是通过神经元核的堆叠实现。第一代的Loihi芯片有128个神经元核，每个神经元核又拥有1000个神经元，整个芯片大概是60平方毫米的面积。

在经过3年多的经验积累和问题研究后，2021年9月，英特尔迭代出了Loihi 2。Loihi 2最大的特点是芯片的形状的差异，相比第一代，Loihi 2的芯片面积从以前的60平方毫米缩小到了31平方毫米，但是可以集成更多资源。Loihi 2采用的是Intel 4的预制程，它是第一款采用Intel 4制程技术的芯片。

Loihi 2芯片的单核依然保留了128个神经元核，但每个神经元核内的神经元数量由以前的1000个提高到了8000个，整个单芯片支持的总的神经元数量由之前的12.8万增加到了一百万，可见神经元数量得到了大幅度的提高。

除此之外，由于它内部的片上网络带宽相较以前得到了非常明显的优化，所以带宽提高显著。在内部英特尔使用的小的、低功耗的CPU核相较以前数量翻倍，它也因此有了更好的处理的性能和速度。

Loihi 2的功能也得到了很大的提升：第一，Loihi 2可以支持广泛化的脉冲，即不仅只是2值（科普：就是说不是0就是1，没有中间态，也没有其他值），还可以携带一个整型的精确值，在做深度学习任务时，精度相较于Loihi一代有明显的提升。二是它引入了更多的可编程性，可以采用微码来对神经元的结构进行编程，可以支持更多类型的神经元抽象，从以前的只支持带泄漏整合发放模型（LIF）到现在可以支持更多种模型，比如说共振发放模型，或者是LIF++、ALIF等不同的神经元模型，可以实现更多的神经元行为。第三个比较显著的提升是在学习能力上引入了调控因子，可以更好的实现在线学习，让芯片能够根据小样本更好的、更高效地实现在线学习。

“Loihi 1和Loihi 2本质上是研究芯片，都还不是英特尔公司产品级的芯片。它们主要是供神经拟态研究社区INRC成员进行研究”英特尔中国研究院高级研究员曹露表示，“也是因为它现在是一个研究芯片，不需要大规模的生产，因此可以先去测试一下Intel 4制程是不是进展顺利。此外，新的EUV技术可以让我们更快地完成整个芯片的设计。”

曹露进一步指出：“目前还只是INRC社区的成员才可以获得Loihi芯片，主要有两种方式来获得：对于不需要本地设备的，可以从云端加入社区，INRC提供一个基于Loihi的云，在接入之后给你虚拟机，可以在上面做实验，把你的数据、算法、代码放到上面跑就可以看结果了；另一个是你真的需要本地的设备做实时的系统，那就可以租借硬件。”

2022年9月，英特尔还发布了基于Loihi 2的开发板Kapoho Point，它集成了8个Loihi 2芯片，在正面和背面分别有四个芯片。这个开发板算是一个系统，采用了很紧凑且能堆叠、可伸缩的设计，可以通过接插件实现多块Kapoho Point的板间直连。单个PCB板可以达到800万神经元，运行包含多大10亿个参数的AI模型，也能解决涵盖多达800万个变量的优化问题。目前Kapoho Point已经逐渐向社区成员开放，进行交付和实验。

如同其他类芯片，神经拟态芯片也需要软件的支持才能实际应用起来。2021年9月，英特尔正式推出了开源项目Lava，Lava是一套模块化的、开源的，可以支持多平台的，可以和其他软件实现互操作的软件开发框架。而且，Lava是一个基于事件的运作方式，即“有事说事”，没事就进入休息状态。这样就能降低能耗，通信效率更高，也可以去掉无效数据。

据曹露的介绍，Lava框架的分层结构包括Magma（Magma的底层和硬件相关），再向上是硬件抽象层，在这一层通过引入标准的进程调度库（Standard Process Library），我们可以将上层的库和应用映射到我们底层的硬件之上。这一套框架不光支持神经拟态芯片，即Loihi的部署，也可以支持在CPU和GPU上完成神经拟态应用的模拟。

值得一提的是，Lava的开源也显示出英特尔希望让更多的研究人员和学生可以使用和贡献于这个框架，而且整个Lava框架支持Python、C和C++等多种编程语言，这样也能更友好地支持使用者，降低研究方向的门槛。由此推动整个生态的发展。

软件是芯片的灵魂，随着Lava软件的发布，Loihi芯片的应用探索部署之路也向前再迈出一步。

“什么样的算法是最好的，什么样的硬件设计是最合适的，其实现在都还在探索当中。我们从应用来驱动整个研究，来权衡我们的发展方向。”曹露表示。

2021年英特尔逐渐发掘了类似Loihi的神经拟态计算在一些应用领域有比较明显的优势。“一种是神经拟态芯片和近传感器结合，完成基于传感和感知相关的处理，包括进行手势识别和气味分析，都会得到比CNN或DNN更好、能效更高的结果，相关结果也有很好的论文产出，发表在《自然》杂志上。还有是在做优化方面，神经拟态芯片性能能够比起基于CPU的路径有更快的速度和更好的性能。此外，在像智能机器人这样的使用场景中，它能够促进对环境的持续感知和不断学习。这些都是神经拟态芯片非常适合的场景。”英特尔中国研究院高级研究员曹露指出。

对于Loihi 2的应用场景，英特尔希望它将不仅仅能在与传感器结合上的应用，而是更上一个级别，能通过大规模的并行，解决一些更复杂、需要神经元数量更多的任务。曹露认为，如果说这两个方向有合适规模的硬件和特别适合的算法，表现出了很好的优势，是其他的芯片达不到的，那这就是一个产业化的适合的时间。

在实践应用探索方面，英特尔和多家科研机构进行了不少合作。下图所示的HERO平台，是当时英特尔为机器人研究开发的一套可配置的异构计算平台，英特尔将这个计算平台和Loihi结合在一起，来做和感知相关的实验平台，也在用新型的事件相机来做在线的手势识别，以及和中科院自动化所合作的基于触觉感知的实验，主要用来检测机械臂操控当中和物体有没有发生滑动。

对于神经拟态芯片来说，它的挑战还在于，目前还尚缺一个“杀手级的应用”使其爆发。还没有找到一个像2012年卷积神经网络AlexNet这样一个关键的突破。

神经拟态计算作为一个研究方向和一个产业，仅靠英特尔一家的力量是不够的，而是需要以社区的形式，凭借产业界、学术界共同努力推动它的发展。2018年3月，英特尔开始组建神经拟态研究社区INRC（Intel Neuromorphic Research Community），根据今年9月份发布的最新数据，该社区的成员数量已经超过了180家，其中包括学术界、政府和工业界的研究机构。英特尔中国研究院也一直在推动神经拟态研究社区的发展，社区中包括一些中国成员，如联想这样的企业，北大、复旦、中科院自动化所在内的学术界，还有如鹏城实验室这样的新型研究机构，都在共同完成研究合作。

相信随着产业更多的人参与到神经拟态计算的研究中去，神经拟态芯片未来的产业化落地进程将进一步加快。