这个在陌生环境里驰骋的老司机，竟是模仿线虫造出来的AI

人工神经网络是一些计算机程序，模仿了我们大脑的组织方式，目前为止已经取得了一系列成功。但尽管进展迅速，神经网络仍然不够灵活，它们几乎没有能力在运行中作出即时改变，或者适应陌生的环境。

2020 年，麻省理工学院的两名研究人员带领一个团队，推出了一种基于生物智能的新型神经网络——不过，参考的可不是人类的大脑。他们从一种只有302个神经元的小线虫——秀丽隐杆线虫（Caenorhabditis elegans）那里获得灵感，制造出了“液体神经网络”（liquid neural networks）。去年他们取得了一个突破性的进展，如今这种新型网络可能已经具有一定的通用性，足以在某些应用中取代传统神经网络。

加州大学伯克利分校的机器人专家肯 · 戈德堡（Ken Goldberg）表示，液体神经网络提供了“一种优雅而紧凑的替代方案”。他还补充说，实验表明，液体神经网络可以比其他的“连续时间神经网络”（continuous-time neural networks）运行得更快、更准确。连续时间神经网络，是指对随时间变化的系统进行建模的机器学习系统，液体神经网络是其中一个例子。

拉明 · 哈萨尼（Ramin Hasani）和马蒂亚斯 · 莱希纳（Mathias Lechner）是新设计的推动者，他们在数年前就意识到，秀丽隐杆线虫可能是一种理想的有机生命体，可以用来研究如何制造能适应意外情况的神经网络。秀丽隐杆线虫只有一毫米长，处于食物链底层，但它已经能够做出一系列高级行为：移动、觅食、睡觉、交配，甚至从经验中学习。莱希纳说：“它生活在现实世界中，变化总是在发生，而它几乎在任何条件下都能表现良好。”

秀丽隐杆线虫交配（图片来源：Kbrugman via Wikimedia Commons, CC BY-SA 4.0）

另外，（截至2019年）秀丽隐杆线虫是唯一一种被完整测定了神经元连接组的生物体，可以说人类已经研究透它的“大脑布线图”了。

对这种低等生命的尊重，让莱希纳和哈萨尼最终发现了全新的液体神经网络。网络中每个神经元都由一个方程控制，这个方程可以预测其随时间的行为。就像神经元之间相互连接一样，方程与方程之间也相互依赖。这个网络基本上就是要解一个方程组，这样就能够在任何时刻描述系统的状态——与传统的神经网络不同，后者只能给出特定时刻的结果。

液体神经网络的发明人莱希纳（左）和哈萨尼（右）（图片来源：Ramin Hasani）

莱希纳说：“它们只能告诉你在一秒、两秒或三秒的时候发生了什么。但像我们这种连续时间的模型可以描述在 0.53 秒或 2.14 秒之类的时间发生的事情。”

神经元之间的连接叫做突触，而液体网络在处理突触的方式上也有所不同。在标准神经网络中，连接的强度可以用单个数字来表示，也就是权重。而在液体网络中，神经元之间的信号交换是一个由“非线性函数”控制的概率过程，这意味着它对输入的响应并不总是成比例的。例如，输入如果加倍，输出可能变大，但也可能变小。这种网络之所以被称为液体网络，就是因为它内在的可变性——神经元的反应方式可以根据它接收到的输入而变化。

传统网络的核心算法在训练过程中就被设定了，但当我们输入大量数据来优化权重，液体神经网络便体现出更强的适应性。论文作者之一，麻省理工学院计算机科学与人工智能实验室（CSAIL）主任丹妮拉 · 鲁斯（Daniela Rus）说，“它们能够根据观察到的输入改变背后的方程，改变神经元的反应速度。”

丹妮拉 · 鲁斯帮助团队创建和分析新的神经网络（图片来源：Amc22004 via Wikimedia Commons，CC BY-SA 4.0）

为了展示液体神经网络的能力，科学家用它来尝试自动驾驶汽车。传统的神经网络只能以固定的时间间隔分析来自汽车摄像头的视觉数据。而由 19 个神经元和 253 个突触组成的液体神经网络（比起传统机器学习中出现的神经元和突触数量，这也太少了）可以做出更迅速的反应，“比如当道路曲折时，我们的模型可以更频繁地采样”鲁斯说。

这个模型成功使汽车保持在了轨道上，但它有一个缺陷——太慢了。这个问题来源于那些代表突触和神经元的非线性方程。通常来讲，求解这些方程需要通过迭代计算来逼近最终的解，这就需要在计算机上做大量的重复计算。科学家一般把这个工作丢给名叫求解器的专用软件包，这个软件包需要分别应用于每个突触和神经元上。

而在去年发表的一篇论文中，研究团队发现了一种新的液体神经网络，它可以绕过这个瓶颈。这个网络依赖于相同类型的方程，关键的不同点在于：解这些方程不需要通过艰巨的计算机迭代，我们甚至都可以手算！这个关键的进展是哈萨尼发现的——网络有一个非常近似的“闭式解”（closed-form solution），这个解可以用基本的代数式写出来，而不必使用复杂的迭代逼近。这是个挺不常见的情况。

鲁斯说：“有闭式解意味着，你有一个方程，给它的参数代入一些值，做做基本的数学运算，一下就能得到答案。”这大大加快了计算的过程。

需要在神经元节点上求解微分方程。团队发现的闭式解（蓝色）是原方程的解（红色）一个很好的近似。图片来源：Hasani et al., 2022

伊利诺伊大学厄巴纳-香槟分校（UIUC）的计算机科学家萨扬 · 米特拉（Sayan Mitra）说：“他们的方法在不牺牲准确性的情况下，以几个数量级的优势击败了竞争对手。”

哈萨尼说，除了速度更快，最新的网络也异常稳定，系统可以处理大量的输入而不失控。科罗拉多大学博尔德分校（University of Colorado，Boulder）的计算机科学家斯利拉姆 · 桑卡拉纳拉亚南（Sriram Sankaranarayanan）说：“这项研究的主要贡献是，液体神经网络利用简洁而纯粹的结构，把稳定性和其他一些良好的性能都整合进去了。”液体网络的运行似乎到达了一个“甜蜜点”：复杂到可以让有趣的事情发生，但又不至于导致混乱的行为。

目前，麻省理工学院的团队正在测试他们部署在一架自主无人机上的最新网络。尽管这架无人机接受的训练是在森林中导航，但科学家们已经将它转移到剑桥的城市环境中，看看它如何应对新情况。莱希纳说，初步结果非常振奋人心。

除了完善目前的模型，团队还在努力改善网络架构。莱希纳说，“下一步是要弄清楚，到底用多么少的神经元就足以执行一个特定的任务。”他们还希望设计出一种连接神经元的最佳方式。目前，网络中的每个神经元都与其他所有神经元相连，但秀丽隐杆线虫并不是这样，它们的突触连接更具选择性。通过对线虫的布线系统的进一步研究，科学家希望能确定其系统中哪些神经元应该被接在一起。

除了自动驾驶和飞行等应用，液态网络似乎非常适合分析电网、金融交易、天气和其他随时间波动的现象。此外，哈萨尼说，最新版本的液体网络可用于“以前所未有的规模进行大脑活动模拟”。

米特拉特别喜欢这种想法。“某种意义上，这挺诗意的——这项研究可能最终会回到原点”，他说，“神经网络正要发展到这样的地步：我们从自然界汲取的想法，可能很快就会帮助我们更好地理解自然。”

封面来源：Saturday Night Live

原文链接：

https://www.quantamagazine.org/researchers-discover-a-more-flexible-approach-to-machine-learning-20230207/

《环球科学》2月新刊正在热卖

各电商平台均有销售

点击【在看】，及时接收我们的内容更新