200年前的数学揭示了AI的神秘黑匣子

P. HASSANZADEH/RICE UNIVERSITY

无论是设计微芯片还是构建新的蛋白质，神经网络似乎可以做任何事情。然而，令人不快的是，这些由大脑启发的人工智能（AI）系统以神秘的方式工作，这引发了人们的担忧，即他们所做的事情也可能毫无意义。

一项新的研究表明，已有200年历史的数学方法或有助于揭示神经网络如何执行诸如预测气候或模拟湍流等复杂任务。研究人员表示，这反过来有助于提高神经网络的准确性和学习速度。

在人工神经网络中，被称为神经元的部件（类似于人脑中的神经元，因为它们是其系统的基本部件）通过数据和协作以解决问题，例如识别人脸。如果神经网络拥有多层神经元，则称之为“深层”。

长期以来，神经网络得出结论的方式一直被认为是一个神秘的黑匣子，也就是说，网络无法解释它是如何得出结论的。休斯顿莱斯大学流体动力学专家、研究高级作者Pedram Hassanzadeh表示，尽管研究人员已经开发出了检查神经网络内部工作的方法，但在涉及许多科学和工程应用的网络时，这些方法往往收效甚微。

为了分析设计用于物理的神经网络，Hassanzadeh和他的同事们尝试使用物理中常用的数学技术。该方法被称为傅里叶分析（Fourier analysi），用于识别数据在空间和时间上的规则模式。

在这项新的研究中，研究人员对一个深度神经网络进行了实验，该网络经过训练，可以分析大气中的空气或海洋中的水中出现的复杂湍流，并预测这些湍流随时间的变化。Hassanzadeh说，更好地理解神经网络为分析这些复杂系统而学习的概念，有助于建立更精确的模型，而训练所需的数据更少。

科学家们对深度神经网络的控制方程进行了傅里叶分析。每个模型大约有100万个参数，神经元之间的连接就像乘数，在计算过程中调整这些方程中的特定运算。这些参数被分为40000个五乘五矩阵，称为内核。

未经训练的神经网络的参数通常具有随机值。在训练过程中，随着神经网络逐渐学会计算越来越接近训练案例中已知结果的解，神经网络的参数会被修改和磨练。然后，研究人员可以使用经过充分训练的神经网络来分析以前从未见过的数据。

自大约200年前傅里叶分析首次出现以来，研究人员还开发了其他工具来分析数据中的模式，例如筛选背景噪声的低通滤波器、帮助分析背景信号的高通滤波器，以及图像处理中经常使用的Gabor滤波器。

Hassanzadeh说：“多年来，我们听说神经网络是黑匣子，有太多的参数需要理解和分析。当然，当我们只是查看其中的一些参数时，它们没有太多意义，而且看起来都不一样。” 然而，在对所有这些核进行傅立叶分析后，他说，“我们意识到它们是这些光谱滤波器。”

多年来，科学家们一直试图用该技术来分析气候和湍流。然而，这些组合在对复杂系统进行建模时往往并不成功。Hassanzadeh说，神经网络学会了正确组合这些滤波器的方法。

Hassanzadeh解释道：“许多气候科学家和机器学习科学家小组正在美国和世界各地合作开发神经网络增强气候模型，即混合模型，使用传统的偏微分方程求解器和神经网络一起进行更快、更好的气候预测。” 他补充道，傅里叶分析可以帮助科学家为这些目标设计更好的神经网络，并帮助他们更好地理解气候和湍流的基本物理情况。

Hassanzadeh说，除了气候和湍流模型，傅里叶分析可能有助于研究神经网络，这些神经网络被设计用于分析广泛的其他复杂系统。这些包括“喷气发动机内的燃烧、风电场内的气流、许多物质、木星和其他行星的大气层、等离子体、太阳和地球内部的对流等等”。Hassanzadeh说，研究人员开发了一个通用框架，以帮助将这种方法应用于“任何物理系统和任何神经网络架构”。

此外，这种方法可能有助于分析“用于图像分类或神经科学的神经网络”，Hassanzadeh补充道。然而，他表示，“我们的工作在多大程度上揭开了这些领域的情况，仍有待研究。”

当涉及神经网络时，一个主要的问题是它们的可推广性如何，它们是否能够分析不同于它们所训练的系统。用于帮助神经网络从一个系统外推到另一个系统的一种方法被称为转移学习。这种方法专注于重新训练神经网络中的少量关键神经元，以帮助其分析其他系统。这些新发现可能会确定最佳的神经元进行再训练。

Hassanzadeh说，特别是，转移学习中的传统智慧是，最好对最接近模型产生的输出的最深层的神经元进行再训练。然而，这项新研究表明，当涉及跨时间和空间数据模式的复杂系统时，他表示，重新训练最浅的层靠近模型接收的输入可能会得到更好的性能，而重新训练最深的层可能会被证明完全无效。

Hassanzadeh说，未来，研究人员的目标是确定神经网络如何学习组合滤波器以达到最佳结果。1月23日，他和他的同事在PNAS Nexus杂志上详细介绍了他们的发现，https://academic.oup.com/pnasnexus/article/2/3/pgad015/6998042。