摩尔定律失效怎么办？神经形态计算专家：把重点变成树突学习

神经网络还有很多潜力等待发掘。

1965 年，戈登・摩尔归纳了一条经验之谈：集成电路上可以容纳的晶体管数目大约每经过 18 个月到 24 个月就会增加一倍。换言之，处理器的性能大约每两年翻一倍。

这条经验之谈被称为「摩尔定律」，之后的四十年里，半导体芯片制造工艺确实以令人目眩的速度成倍提高。但近年来，摩尔定律的加倍效应已在放缓，甚至有人预言在不久的将来会失效。

业界纷纷提出各种方案应对这种发展瓶颈，来自斯坦福大学的神经形态工程师 Kwabena Boahen 最近提出了一种新思路：人工神经元应该模仿生物神经元的树突，而非突触。研究论文发表在《Nature》上。

论文地址：https://www.nature.com/articles/s41586-022-05340-6

当前，神经形态计算旨在通过模仿构成人脑的神经元和突触的机制来实现人工智能（AI）。人工神经网络反复调整连接神经元的突触，以修改每个突触的「权重」，即一个神经元对另一个神经元的影响强度，然后神经网络确定由此产生的行为模式是否更善于找到解决方案。随着时间的推移，系统会发现哪些模式最适合计算结果，并采用这些模式作为默认模式。

神经网络通常包含很多层神经元，例如 GPT-3 拥有 1750 亿个权重，连接相当于 830 万个神经元，深度为 384 层。随着神经网络规模和功能的不断增加，它们变得越来越昂贵和耗能。以 GPT-3 为例，OpenAI 花费 460 万美元让 9200 个 GPU 运行两周来训练这个大型模型。Kwabena Boahen 说：「GPT-3 在训练期间消耗的能量转化为碳排放相当于 1300 辆汽车。」

这也是 Boahen 提出神经网络下一步应该尝试数图学习的重要原因。模仿神经网络中的树突将增加传输信号中传达的信息量，让 AI 系统不再需要 GPU 云中的兆瓦级功率，在手机等移动设备上就可以支持运行。

树突可以大量分支，允许一个神经元与许多其他神经元连接。已有研究发现，树突从其分支接收信号的顺序决定了其响应的强度。

Boahen 提出的树突计算模型只有在接收到来自神经元的精确序列信号时才会做出反应。这意味着每个树突都可以编码数据，而不仅仅是 0/1 这样简单的电信号。基础系统将变得更加强大，这取决于它拥有的连接数量和接收到的信号序列的长度。

在实际构建方面，Boahen 提出用铁电 FET（FeFET）来模拟树突，具有 5 个栅极的 1.5 微米长的 FeFET 就可以模拟具有 5 个突触的 15 微米长的树突。Boahen 说，这种构建版本可能会在「3D 芯片」中实现。

感兴趣的读者可以阅读论文原文，了解更多研究细节。

参考链接：https://spectrum.ieee.org/dendrocentric-learning

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]