北京大学黄铁军、杜凯团队在《自然·通讯》发表生物神经网络精细仿真算法并证明理论最优！

2023-11-06 05:11

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达
点击进入—>【大模型和Transformer】交流群

来源：北京大学新闻网 | 编辑：山石 | 责编：安宁

https://news.pku.edu.cn/jxky/9a81f1c96a7c4c37bd01894eaf0bb9fa.htm

在CVer微信公众号后台回复：生物神经，可以下载论文pdf和代码，快学起来！

ChatGPT为代表的大模型涌现出了强大的智能，改变了人们对人工智能的看法，越来越多的人相信超越人类的AGI（人工通用智能）正在到来。今天大模型的参数规模（人工神经网络的神经连接数量）已经达到万亿级，但也只有人脑的百分之一（人脑神经突触数量约百万亿）。进而，人工神经网络还只是对生物神经网络的粗略模仿，在神经元模型和神经网络结构方面与人脑相距甚远，在信号表达机理上存在根本差别。

人脑是亿万年自然进化“训练”出来的高精度神经网络，神经元数量近千亿，分为数千种不同类型，每种神经元都有其独特且优雅的结构，以及丰富的离子通道信号加工机理。计算神经科学领域最新进展表明，凭借复杂的树突结构和离子通道，单个神经元就具有惊人的计算能力，相当于5—8层的深度人工神经网络。因此，我们的大脑是一个参数量比ChatGPT大4到5个数量级的超大精细神经网络。

结构决定功能。人工智能要逼近人脑功能，就要从结构、规模和信号加工机理上进一步逼近人类大脑，这就意味着需要远比ChatGPT庞大的算力，或者更高效率的算法。北京大学计算机学院黄铁军教授、北京大学人工智能研究院杜凯助理研究员团队给出了理论最优的精细神经元仿真算法，近日在《自然·通讯》（Nature Communications）上线，实现了生物神经网络高精度仿真效率的数量级提升，成为探索大脑奥秘和发展下一代人工智能的关键支撑。

https://www.nature.com/articles/s41467-023-41553-7

神经元建模有两条主要路径。一是人工神经网络采用的点神经元（Point Neuron）模型，源于1943年麦卡洛克和皮茨提出的M-P（McCulloch-Pitts）模型，将神经元视为“多入单出”的加权求和计算过程，沿用了80年。尽管点模型过于简化，仍然在人工神经网络得到广泛应用并取得了很好的应用效果。二是精细神经元模型（Biophysically Detailed Model，图1），基于霍奇金和赫胥黎1952年提出的HH模型（Hodgkin-Huxley Model，1963年获得诺贝尔生理和医学奖）和拉尔（Rall）1959年提出的电缆理论（Cable theory），能够高精度表达神经元内部复杂的树突结构和电生理过程。

相比于点神经元，精细神经元的复杂性也意味着其仿真过程极其耗时。因此，该领域的科学家们一直面临一个关键问题：如何对精细神经元以及精细神经网络模型进行高效仿真？精细神经元复杂树突结构的仿真需要采用特殊的线性方程组求解，是影响仿真效率的基本瓶颈。当前主流大脑仿真平台（如NEURON）采用的海因斯算法（Hines method）由耶鲁大学海因斯1984年提出，计算复杂度高，造成精细神经网络仿真代价极其昂贵（图1），算力成为限制网络规模扩展的桎梏。近40年来，为了提高海因斯算法的计算效率，人们进行了不懈探索，但成效甚微，这个难题一直悬而未决。

为解决上述问题，团队提出了树突分层调度方法DHS（Dendritic Hierarchical Scheduling），实现了仿真效率的数量级提升，构建并开源了基于GPU的精细神经网络仿真学习加速框架DeepDendrite，提供了一个完整的融合精细神经元仿真与学习的平台，利用GPU的强大计算性能，支撑脑科学家从大规模系统层次探索大脑工作原理，打开神经科学与人工智能融合发展的桥梁，成为发展下一代人工智能的重要支撑。

该工作的主要亮点如下：

理论最优：理论证明DHS方法是并行求解树突线性方程组计算代价最优的方法，与经典海因斯方法相比，可以在保证数值准确性情况下将计算代价降至7%至10%。

数量级加速：结合DHS方法与内存增强（memory boosting）技术和GPU硬件能力，仿真速度比采用CPU的NEURON仿真平台提升2—3个数量级，比采用GPU的NEURON平台提升了1个数量级。

平滑支持脑科学研究：DeepDendrite框架可以直接运行NEURON平台的神经网络模型，神经科学家无需GPU编程知识，无需对现有模型进行修改，就能开展高精度生物神经系统高效仿真研究。

实现人工智能训练：精细神经网络仿真领域目前为止没有类似于PyTorch和TensorFlow一样的框架，DeepDendrite支持面向大数据人工智能训练的高效批处理学习，构建了多层精细神经网络HPC-Net支持典型的图像分类任务，训练时间比现有仿真平台提速约25倍（图2）。训练得到的精细神经网络在分类准确性与人工神经网络基本一致的情况下，对抗噪声的鲁棒性显著提升，展现了精细神经网络相比当前人工神经网络的巨大潜力。

论文“A GPU-based computational framework that bridges neuron simulation and artificial intelligence”已在《自然·通讯》（Nature Communications）在线发表。北京大学为该研究工作的第一完成单位，合作单位包括北京智源人工智能研究院、云南大学以及瑞典的卡罗琳斯卡医学院和皇家理工学院，北京大学计算机学院博士张祎晨，直博生何干、马雷为论文共同第一作者，杜凯为通讯作者，黄铁军为共同指导老师。

这项工作得到科技部重点研发计划“颠覆性技术”专项（2020AAA0130400）、国家自然科学基金委（61825101）和广东省区域重点研发项目等的支持。

Github主页：https://github.com/pkuzyc/DeepDendrite

在CVer微信公众号后台回复：生物神经，可以下载论文pdf和代码，快学起来！

ICCV / CVPR 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集

后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集

计算机视觉和Transformer交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-计算机视觉或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群


▲扫码或加微信号: CVer444，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章

北京大学黄铁军、杜凯团队在《自然·通讯》发表生物神经网络精细仿真算法并证明理论最优！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达点击进入—>【大模型和Transformer】交流群

AI/CV重磅干货，第一时间送达
点击进入—>【大模型和Transformer】交流群