SpikeGPT项目原作解读：使用脉冲神经网络的生成式语言模型

机器之心最新一期线上分享邀请到了电子科技大学朱芮捷，为大家分享他们近期工作 SpikeGPT。

现有的语言模型如 ChatGPT 等都需要大量的计算资源和维护成本，而脉冲神经网络则可以利用稀疏和事件驱动的激活来降低模型推理的计算开销。脉冲神经网络是一种模仿大脑信息处理方式的算法，与传统的深度学习神经网络不同的是，神经元只有在被激活时才会发出脉冲信号。然而，脉冲神经网络在模型训练方面也面临着挑战，很多针对非脉冲神经网络的优化策略难以应用于脉冲神经网络，导致它们在语言生成任务上的性能落后于现代深度学习。

SpikeGPT 借鉴 RWKV 语言模型，用纯二进制的脉冲激活单元替换了传统的深度学习激活单元，并修改了 Transformer 模块，用流式输入代替多头自注意力机制，以减少随序列长度增加的二次计算复杂度。在三种参数规模（45M、125M 和 260M）下进行了实验，其中 260M 是目前最大的可反向传播训练的脉冲神经网络。实验结果与进一步推断表明，在维持相似性能的情况下，SpikeGPT 在能够利用稀疏、事件驱动激活的神经形态硬件上，比相似的深度学习模型节省了约 22 倍的能耗。

分享主题：SpikeGPT：使用脉冲神经网络的生成式语言模型

分享嘉宾：朱芮捷，电子科技大学大四本科生，加州大学圣克鲁兹分校准博士生，主要研究兴趣为脉冲神经网络，为目前两大主流脉冲神经网络框架snntorch与SpikingJelly的贡献者。

分享摘要：本次分享将主要专注于脉冲神经网络、SpikeGPT与RWKV上，尝试为此类RNN的生成式方法梳理一条脉络。