光学算法简化模拟人工智能训练

GETTY IMAGES

研究人员开发了一系列模拟和其他非传统的机器学习系统，希望它们能比今天的计算机更节能。但训练这些人工智能完成任务一直是一大绊脚石。NTT设备技术实验室和东京大学的研究人员现在表示，他们已经提出了一种训练算法（NTT上个月宣布：https://ntt-research.com/ntt-and-the-university-of-tokyo-developed-worlds-first-optical-computing-ai-using-an-algorithm-inspired-by-the-human-brain/），该算法在很大程度上有助于让这些系统实现它们的承诺。

据了解，该研究结果建立在光学模拟计算机上，代表着在获得研究人员长期以来从“非常规”计算机架构中寻求的潜在效率增益方面取得的进展。

现代人工智能程序使用一种名为人工神经网络的生物启发架构来执行图像识别或文本生成等任务。控制计算输出的人工神经元之间的连接强度必须使用标准算法进行修改或训练。这些算法中最突出的是反向传播，它在处理试验数据时更新连接强度以减少网络错误。由于对某些参数的调整取决于对其他参数的调整，因此需要计算机主动传递和路由信息。

正如Spectrum之前介绍过（https://spectrum.ieee.org/analog-ai）的那样，“误差反向传播就像反向运行推理，从网络的最后一层移动回第一层；然后权重更新将原始正向推理运行的信息与这些反向传播的误差相结合，以使模型更准确的方式调整网络权重”。

以复杂性换取效率的替代计算架构通常无法执行算法所需的信息传递。因此，网络的训练参数必须从整个硬件设置及其信息处理的独立物理模拟中获得。但是，创建足够质量的模拟本身就具有挑战性。

参与这项研究的研究人员之一、NTT设备技术实验室的Katsuma Inoue说：“我们发现，将反向传播算法应用于我们的设备非常困难。由于物理噪声和建模不准确等几个因素，数学模型与实际设备之间总是存在差距。”

由于实现反向传播的困难，作者研究并实现了一种替代的训练算法。它建立在一种名为直接反馈对准（direct feedback alignment，DFA）的算法之上，该算法在2016年的一篇论文中首次引入。该算法减少了在训练期间传递信息的需要，从而减少了物理系统需要模拟的程度。作者的新“增强DFA”算法完全消除了对任何详细设备模拟的需要。

为了研究和测试该算法，他们在光学模拟计算机上实现了该算法。这其中，神经元之间的连接被表示为穿过光纤环的光的强度，而不是表示的数字。神经网络的连接用穿过环形光纤的光束的强度来表示。

法国公共研究机构FEMTO-ST研究所的Daniel Brunner说：“这是一个绝对必要的证明。”Brunner开发了研究人员在研究中使用的类似类型的光子非常规计算机。“这种特殊算法的美妙之处在于，在硬件中实现并不太难，这也是为什么它如此重要。”