Bengio、LeCun等联名上书引发Twitter争论：AI是否需要神经科学？

前段时间，Bengio、LeCun 等人联名写了一份白皮书，呼吁美国政府加大对神经 AI 的投资，以攻破「具身图灵测试」（参考：《Bengio、LeCun 等人联名上书，呼吁美国投资神经AI，攻破「具身图灵测试」》）。然而，这份白皮书却在推特上引起了一些争议。在这篇文章中，中科院深圳理工大学（筹）生命健康学院智能交叉科学中心助理教授、中科院深圳先进技术研究院脑所脑信息中心副研究员周鹏程博士悉心整理了这些讨论并发表了自己的看法。

争论的起点

神经科学从来都没推动过人工智能，你们白皮书中还说continue to drive AI progress

你们真的认为发明Transformers / ADAM的人看过一篇神经科学论文吗？你们就假装在为人工智能做贡献吧。要点脸吧！(原文："it's embarrasing"）

诸神参战

David Sussillo

Pfau的评论一出，上文我们所提到的David Sussillo就出来说话了：

过去几年，我在Google Brain跟Transformer的主要贡献人交往很多。我虽然不能冒昧地推定到底是什么启发了他发明transformer，但是他对神经科学是发自内心的感兴趣，问了很多神经科学的问题。

格局打开，深度学习/人工智能的科学原理早晚都需要被解决，我押宝计算/理论/神经科学领域的人。

人工智能的人对神经科学感兴趣没问题，这和神经科学推动AI进展是两码子事儿。

Sussillo你自己在运动控制方面的神经科学工作非常有影响力，你能举出来任何这些工作在机器人领域的应用吗？

没，我在运动控制领域的工作在AI中没啥影响。我曾经试图将动力学系统方面的思路引入到深度学习的理解中，但是没啥大成果。这个领域不太鼓励进展缓慢的增量式工作。

Emo Todorov在运动控制方面的工作在人工智能领域的应用比比皆是。

得了吧，Todorov的主要身份就不是神经科学家。他是做过一些神经科学的工作，但是我认为人工智能领域所认可他的工作主要来自控制理论。

他的控制理论一开始就是为了解释神经科学的运动行为的。

算了，如果你就是不爽Kording所说的“神经科学继续推动人工智能”的话，那就算是吧。

过去的十年，深度学习领域到处都在跑马圈地，偶尔有一系列真正令人惊叹的想法出现。我认为神经科学在这个过程中没有贡献。我承认这一点，并且同意目前神经科学对人工智能的贡献远不如后者对前者的大。

但我不爽的是，你说“神经科学家宣称对人工智能有贡献”就是embarrassing的。你说的太过了。

人工智能的历史吸纳了很多不同领域的人到一起。就拿NIPS为例，神经科学也依然在这个会议中有一席之地。

https://www.biorxiv.org/content/10.1101/2022.08.15.503870v1.abstract

https://arxiv.org/abs/2004.08013

https://proceedings.neurips.cc/paper/2021/hash/a57ecd54d4df7d999bd9c5e3b973ec75-Abstract.html

Pfau你小子，真觉得一个从没听说过神经元和突触相关概念的人会想到使用人工神经网络来实现智能吗？

你忘了1990-2012年的神经网络寒冬了吗？一帮受脑智能启发的头铁的牛人给神经网络续了命，虽然那段时间整个人工智能/机器学习领域都抛弃了他们。

人类擅长抽象推理模式，但这是不会带领我们想到通过神经网络/卷积网络来实现智能的。而那帮头铁的老家伙们就是坚信“大脑可以做到，那人工神经网络也行”，靠着这个信念坚持走过了人工神经网络的黑暗时期。

现在你居然在问“神经科学为人工智能做了啥”？真拿神经科学是牛夫人了？

上一次神经科学对人工智能的贡献在于认识到大脑是通过层级间的神经元和突触连接实现信息处理这一抽象的概念，我认为下一波重大贡献将来自于我们真正理解大脑如何完成计算的。目前我们还远没到这个地步。

你错了 。神经科学极大并且直接启发了我和Hinton。Hubel和Wiesel的动物视觉机制研究直接启发了我。

另外神经网络通过调节突触权重来实现学习这一整套想法确定无疑来自神经科学。

从一些经典工作获得一些概念上的启发和直接从最近研究中获得启发是不同的。

你有从Neuron或者Cell杂志上的最新文章受到任何启发，并作出新的工作吗？如果有的话，我没注意到你文章中有这些体现。

Mike Jordan说当年的PDP group都非常讨厌backprop，因为它在生物学上不现实。

直到你们这波人不管生物学意义后，才变得流行了。大佬，你当年因为一些神经学家过分追求生物合理性而被刁难的日子，你都忘了吗？

你丫这么说就类似于问一个物理学家是否看过哪些最近发表的数学论文，并启发自己完成一些新的工作？

“嘿，费曼，你最近看过Acta Mathematica上的论文吗，有没有直接推动你工作的？如果没有的话，那物理学家不需要学数学了”

你要说费曼，我就不困了。在《别逗了，费曼先生》一书中，他说他觉得纯数太繁琐并且不相关。他有问题就直接去找数学家问了

我怀疑Hinton从来没有看过任何一篇神经科学的论文。被一些high-level的直觉启发，跟被实际的神经科学研究启发是两回事儿。

你是不是指望神经科学文章中的某个图片结论直接被应用到某些 人工智能算法中？如果这是你期待的话，那肯定不是这样的。

事实上，我们从神经科学获得一些启发，然后把那些重要的想法移植到AI中并进而改善它。

实际上你说的这种形式也不常见。有些人从神经科学中寻找启发，其他人完全无视神经科学也没啥，依然可以作出领域内的重大贡献。

Every few years, I get a call from Geoffrey that begins with "I figured out how the brain works." Each time, he tells me about a clever new scheme for improving neural network models. 

It has taken many such schemes and refinements for deep learning in multilayered neural networks to achieve a level of performance comparable to humans in recognizing speech on cell phones and objects in photos.

是的，对神经网络生物合理性的要求过度了。但我同意LeCun，Pfau这小子太口无遮拦了，缺乏对历史背景的了解。

你瞎说，我当然知道历史背景。我只是认为几个教科书中关于抽象的启发完全不等于是主要推动力。

好吧，你这么说也没毛病。那咱们就说“60年代有一些是有实际贡献，1970年以后就没啥大的推动了”

鸣金收兵

属于脑科学的“空气动力学”还未到来

神经科学如何界定？

Pfau在争论中有个观点其实是具有迷惑性的。他只承认实验得到的神经科学结论，而拒绝认为来自控制理论、数学、认知科学的研究属于神经科学。

目前神经科学还处于初级阶段，但已经是最好的时代

神经科学是一个非常吸引人的学科，里边的未解之谜实在太多。有很多人在年轻时候都试图去研究它，进了一些神经科学的博士项目。

但真正进入了之后，才发现我们的研究手段如此初级，离自己想象差距好大，感叹在有生之年估计是无法解答自己的疑惑。（文章在知乎发表后，好几个以前的好朋友都对这句话感触颇深）。

比如Jeff Hawkins进入了UC Berkeley的神经科学PhD项目，读了一段时间觉得有点希望渺茫，于是就辍学去了硅谷，创建了Palm Computing公司，赚了大钱后，在UC Berkeley赞助了一个Redwood Center for Theoretical Neuroscience，继续赞助一帮大佬进行神经科学研究。

对人工智能的启发可以有很多种

未来的NeuronAI政府资助

与此次争论无关的几条回复来自美国的IARPA的一个负责人David Markowitz，他是我之前参与的一个MICrONS项目的政府方面的管理者。MICrONS算是美国政府投入非常大的一个NeuroAI项目。David从经费管理者角度上回应了这篇文章，总体上是支持这一领域，但是科学家们需要拿出更多成果，给经费分配者以信心。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]