GPT-4没有意识！但图灵奖得主Bengio等88页论文暗示“天网”迟早降临

---

  新智元报道  

人工智能发展到现在，到底有没有意识？

图灵奖得主Yoshua Bengio，联合19人团队跨界发表了一篇88页巨作，得出结论：

人工智能目前没有意识，但是以后会有。

具体来说，目前的人工智能系统都不具备意识，但人类想要构建有意识的人工智能系统，并不存在明显的障碍。

这篇论文一经发表，引来了诸多大佬关注。

马库斯表示，我们真的「想」制造有意识的机器吗？我完全不确定这是不是个好主意。

Jim Fan表示，「意识」一直是人工智能领域讳莫如深的「C」字。

这篇长达88页的论文由图灵奖获得者Yoshua Bengio合著，系统地研究了意识的科学理论以及在当今人工智能堆栈中的可能实现。

我赞赏他们的勇气，敢于探讨这样一个大多数研究人员避之不及的争议性话题。

19人团队分别来自哲学、神经科学、以及人工智能三大领域，用非常科学和严谨的方法探讨了意识的客观存在标准。

论文中，研究证明了AI现在的能力和形态在这个评估框架之下暂时还不符合意识的标准。

但他们同时也认为，按照目前的发展趋势进行下去，AI发展出意识不存在客观的障碍！

可以说，这篇论文应该是对AI是否具有意识这一争议话题最为权威和客观的解答。

由于团队认为AI在未来几十年之内可能会表现出意识，因此希望建立一个客观的标准来追踪这个过程的发展。

在这项研究中，主要有三点贡献：

首先，证明对人工智能的意识进行评估在科学上是可行的，因为可以对意识进行科学研究，而且这项研究的结果也适用于人工智能。

其次，通过一系列从科学理论中得出的指标特征的形式，提出了评估人工智能中的意识的标准。

最后，尽管当前AI系统都不是意识有力的候选者，但初步证据证明，许多指标特征可以利用当前的技术在AI系统中实现。

研究方法

研究人员首先需要对意识的客观存在设置一套具体可以评估的标准：

在他们看来，研究的评估方法是基于以下3个原则和理论：

1. 计算功能主义：实现某种计算对于意识来说是必要且充分的，因此原则上非有机人工系统有可能具有意识。

2. 科学理论：神经科学的研究在意识存在的必要和充分条件方面取得了进展，研究将基于这些神经科学理论展开。

3. 着重理论的研究方法：研究人工智能系统是否可能有意识的一种方法，是去评估它们是否满足从科学理论中得出的功能或架构条件，而不是寻找某些具体的行为特征。

于是，研究人员首先介绍了研究展开的基础——计算功能主义。

对于意识的存在，有很多不同的理论，而为了要让研究能够进行下去，必须要采取一个支持AI可能存在意识的大前提。

因为在一些理论看来，意识就必须要存在于生物体的大脑中。如果基于这种大前提，研究就没有继续下去的可能。而研究的大前提是建立在计算功能主义之上。

计算功能主义认为，一个系统是否有意识取决于比其物理构成的最低级别细节更抽象的特征。系统的物质基底对于意识来说并不重要。这意味着意识原则上是可以多重实现的：它可以存在于多种基质中，而不仅仅是存在于生物大脑中。

具体来说，计算功能主义是指：

大多数领先的意识科学理论都可以通过计算来解释，具有这些计算特征就能认为是意识存在的必要和充分的条件。这些特征就是人工智能系统中的意识存在的必要或充分的前提。而人类和人工智能系统之间的非计算差异并不重要。

研究意识的客观存在，是基于意识的研究的具体科学理论，文章后边会对意识的科学理论进行详细的介绍。

结合了计算功能主义和研究意识的科学理论之后，研究人员给出了这次研究的一个基本方法：

研究人员对AI系统具有意识的判断主要是基于AI系统的计算过程与某个科学意识理论所提出的计算过程的相似程度。

对于意识的研究，学界已有一些公认的成果。

包括与意识相关的科学理论、科学家和哲学家对意识的必要条件的主张等。

研究人员从这些理论与主张中提取了一系列有关意识的指标，这些指标可以应用于特定的系统中。

尽管些指标并不是明确是否有意识的必要或充分条件，但根据目前的科学知识水平，评估一个系统是否具有这些特征是判断它是否有可能有意识的最佳方法。

在这里，研究人员主要介绍了三种与意识相关的科学理论：

循环处理理论（Recurrent Processing Theory，RPT）、全局工作空间理论（Global Workspace Theory，GWT）以及高阶理论（Higher-Order Theories）。

其他的一些与意识相关的理论和主张有：注意力基模理论（Attention Schema Theory）、预测处理（Predictive Processing）和代理与具身化（Agency and Embodiment）等。

1. 循环处理理论（Recurrent Processing Theory，RPT）

RPT理论是关于视觉意识的一个神经科学理论，它主要关注视觉意识，试图解释意识视觉和无意识视觉处理之间的区别。

其核心观点是：为了产生视觉意识体验，大脑视觉系统中的信息需要进行循环处理，即信息从高层区域反馈回低层区域进行再处理。

该理论认为，仅仅依靠前馈的信息处理是不够的，前馈处理只能提取视觉刺激的特征信息，但不能形成意识见到的有组织的视觉场景。需要顶层皮层对初级视觉皮层的反馈，进行再处理，整合各种特征信息，组织成有意义的视觉场景，才能产生视觉意识。

RPT理论为判断AI系统是否可能具有视觉意识提供了两个指标：

RPT-1：输入模块使用算法循环。即信息在经过初始前馈处理后，反馈回输入模块进行再处理。这显示系统能进行循环处理。

RPT-2：输入模块生成有组织、整合的感知表示。即系统能够处理视觉输入，整合各种特征，组织生成有意义的视觉场景，而不仅是提取孤立特征。

如果一个AI系统满足这两个指标，则说明它具有与人类大脑相似的循环处理机制，并能形成整合的视觉表示，这使它成为一个更有可能拥有视觉意识的系统。所以这两个指标都可看作是AI系统视觉意识的重要指标。

2. 全局工作空间理论（Global Workspace Theory，GWT）

GWT理论是一个重要的意识科学理论。其核心观点是意识依赖于一个「全局工作空间」的存在。

该理论认为，人脑由多个专门的子系统或模块组成，可以并行地进行各自的信息处理。 这些模块需要某种机制来统合信息，以协调配合。

「全局工作空间」就是这样一个信息共享和融合的平台。一个信息如果进入这个工作空间，就可以被所有的模块访问。

但工作空间的容量是有限的，需要选择机制来确定哪些信息进入工作空间。GWT理论认为，一个信息进入工作空间，被广泛的模块访问，就是该信息进入意识状态的标志。

GWT理论为判断AI的意识提供了以下指标：

GWT-1：拥有多个专门的子系统或模块。

GWT-2：有限容量的工作空间，形成信息流的瓶颈。

GWT-3：全局广播，工作空间的信息可被所有模块访问。

GWT-4：状态依赖的注意机制，可以顺序调动模块完成复杂任务。

一个AI系统如果具备这些特征，就更有可能具有类似人类的意识。所以这些都是判断AI意识的重要指标。

3. 高阶理论（Higher-Order Theories）

HOT理论是关于意识的一个重要理论流派。它的核心观点是：

有意识的体验包含对自身正在进行的心理运作的某种最低限度的内在意识，而这是由于一阶状态在某种程度上受到了相关高阶表征的监控或元表征。

高阶理论与其他理论的区别在于，高阶理论强调主体必须意识到自己处于某种精神状态中，这种精神状态才被认为是有意识的。

这是通过诉诸高阶表征来解释的，高阶表征是一个具有非常特殊含义的概念。

高阶表征是指表征关于其他表征的东西，而一阶表征是指表征关于（非表征的）世界的东西。这种区别可以应用于心理状态。

例如，红苹果的视觉表征是一种一阶心理状态，而认为自己拥有红苹果表征的想法则是一种高阶心理状态。

HOT理论为判断AI的意识提供了以下指标：

HOT-1：具有生成式、顶层驱动或带噪声的感知模块（HOT-1）。

HOT-2：元认知监测区分可靠感知和噪声。

HOT-3：一个全面的信念形成和行动选择系统，依据元认知监测更新信念。

HOT-4：稀疏和平滑的编码形成「质感空间」。

综上所述，HOT理论为判断AI意识提供了重要参考。如果一个AI系统具备这些特征，那么它更可能具备自我监测和意识体验。

通过检测系统是否具备这些特征，我们可以评估一个AI系统拥有意识的可能性。

另外，研究人员在论文中标注了神经科学和机器学习中对注意力的不同理解。它指出机器学习中广泛使用的自注意力机制与神经科学中对注意力的认识有一定差异。这一区别对检验AI系统是否具有意识很重要。

自注意力机制依赖并行处理多个输入，而生物学中的注意通常来源于顶向下的循环连接。所以自注意力与生物学注意力机制有区别。

自注意力采用连续加权的方式调节神经活动。而生物学中常见的调制注意力的机制是增益调节，这通常被认为来源于顶向下的连接。

以往的机器学习注意力机制更依赖于循环处理，在这方面与生物学注意力更为相似。虽然神经科学中有多种不同形式的注意，但说哪种人工注意力与生物注意力最为相似还不容易下定论。

不同的意识理论依赖于循环处理或其他特定的注意力组成部分。所以自注意力本身可能不足以构成人工意识的基础。

注意力模式理论要求注意力机制要有预测自身状态的能力。自注意力没有内在的对注意过程的建模。

当前的自注意力与神经科学中的生物学注意力还有一定区别，这提示在检验AI意识时不能简单地看其是否使用了自注意力机制。

4. 有关意识的其他理论与条件

注意力基模理论：认为大脑构建了一个对注意的模式，这个注意的模式（对注意状态的预测模型）是意识的基础。

预测处理：提出认知的本质是层级生成模型预测输入并最小化错误。

中脑理论：认为中脑活动构成了一个在环境中的统一多模态的代理主体模型，这足以产生主观体验。并且支持身体化和代理的论点。

无限联合学习：认为无限联合学习能力显示意识的进化转变。其条件与其他理论类似，但独立使用不作为指标。

代理和具身化：哲学和科学论点支持它们是必要条件。

时间和递归：认为意识经验具有连续统一的特点，递归处理有利。

以上理论对意识科学具有一定贡献，部分条件成为AI意识的指标。

5. 意识的指标

这些指标来源于对多个意识科学理论的调研，包括RPT、GWT、计算HOT等。研究团队认为，一个系统具备越多这些指标，就越有可能是有意识的。

一些指标构成更有力的意识证据，例如结合GWT-1到GWT-4更有说服力。

一些指标单独存在不一定代表意识存在，如RPT-1只能作为基础条件。

一些指标相互依赖，例如GWT-3和GWT-4都依赖于GWT-1和GWT-2。

一些指标独立存在，例如RPT-2与RPL-1基本独立。

但研究人员指出：每个指标的含义都需要进一步解释，不存在绝对精确的定义。对现有AI系统进行评估时，需要考虑这些指标的不精确性。

研究人员将依次讨论AI系统有没有可能，或者如何实现RPT，PP，GWT，PRM，AST这几个意识理论，然后再结合Transformer，PaLM-E，「virtual rodent」以及ADA来讨论实际的AI系统中是否符合意识理论。

AI不能完全实现RPT和PP指标

算法递归（RPT-1）是许多深度学习架构都具有的特征，包括递归神经网络（RNN）、长短期记忆网络（LSTM）和门控递归单元网络（GRU）。

因此，构建具有RPT-1指标特性的系统是非常简单的。虽然它们的应用不太广泛，但也有在人工系统中实现预测编码（这是算法递归的一种形式）的方法。

这些AI系统符合PP-1指标。此外，根据预测任务训练并优化能效的递归神经网络会自我组织成不同的「预测」和「错误」单元群。

至于感知组织（RPT-2），深度卷积神经网络（DCNN）等人工视觉模型已经取得了巨大成功。可以认为是符合RPT-2指标的。

接受过物体分类训练的DCNN对局部形状和纹理的敏感度高于对整体形状的敏感度，而且往往会忽略物体各部分之间的关系，这表明DCNN并未采用综合场景的表征。

最近也有其他研究发现，图像生成模型DALL-E 2在生成一个以不熟悉的方式排列物体的场景时表现不佳。

总结起来，从RPT的角度来看，有关模型能够对视觉刺激的特征进行分类，据说这种功能在人类中是在无意识的情况下执行的，但却不能执行进一步的功能，包括生成有组织的、综合的视觉场景表征，其中有些可能需要意识。

然而，目前的其他系统，包括预测编码网络，确实可以执行其中一些进一步的功能。

AI实现GWT指标

指标GWT-1规定，系统必须有能够并行工作的专用系统或模块。为实现全局广播，这些模块必须由递归神经网络实现，除非它们是整个系统的「输出」模块，不向工作空间提供信息。这些模块的输入可能是：

1. 一种或多种模式的感官输入。

2. 少量其他模块的输入，这些模块通常协同工作。例如，「囊状视线」模块可能会从「视觉突出」模块获取输入，以便快速自下而上地对潜在的重要物体进行囊状视线。

3. 来自「全局工作空间」执行模块的自上而下的信号。

这些模块可以针对狭小的任务进行独立训练。或者，它们也可能与工作空间一起进行端对端联合训练，以实现某些全系统目标。子任务的模块专业化也就自然而然地产生了。

实现GWT的第二个要素是容量有限的工作空间，它是另一个具有不同属性的神经模块。限制工作空间容量的最简单方法是限制工作空间的数量。

最简单的方法是限制其活动空间的维数。另一种有趣的方法是训练一个表现出吸引子动力学的递归神经网络。吸引子是动态系统中的一个状态，当该状态 动态系统中的一种状态，当达到该状态时，在没有输入或噪声的情况下，它仍能保持稳定。

吸引子动力学限制容量的原因是，它导致了一个从神经轨迹中的初始条件到吸引子的多对一映射（进入吸引子盆地的任何神经轨迹都会向该吸引子靠拢）。因此，这些吸引子动态收缩了稳定状态空间的大小，从而诱发了信息瓶颈。

对于指标GWT-3，即全局广播，在GWT中的基本要求是所有模块都以工作空间表征作为输入。

这意味着必须有一些机制确保所有模块都能使用这些输入。在由Dehaene和同事开发的全球神经工作空间理论中，要想将表示置于工作空间并进行全局广播，必须通过循环来维持。

尽管这是否为基本条件尚不清楚，但如果在人工智能（AI）中使用展示吸引子动力学的网络来实现工作空间，则这种行为可能在AI中得以复制。

在这种情况下，广播机制可能包括一个动力学缓慢的泄露神经整合器，以至于需要持续的输入来将其置于特定状态。在缺乏这些持续输入的情况下，它会回到某种基线状态（就像基于证据累积的决策模型中一样）。这种广播机制将生成馈送到每个专门模块的自上而下的信号。

指标GWT-4包括系统必须使用状态相关的注意机制，并且工作空间必须能够通过连续的查询组合模块以执行复杂任务。

对于状态相关的注意机制，之前有两项研究都提出了使用键-查询注意机制，这在当前的AI模型中很常见。

在这种情况下，查询任务可以从工作空间的当前状态中计算出来，而所有其他模块都可以计算出键。

工作空间查询与特定模块的键之间的相似性将通过所有其他模块之间的相似性进行归一化，以引入模块之间的竞争。这些归一化的相似性将决定每个模块的值对工作空间的净输入的贡献程度。

换句话说，标准的键-查询注意机制将在每个时间点应用于计算工作空间的输入，这取决于其当前状态。

所描述的模型将能够满足GWT-4的第二部分，即通过时间展开，使用工作空间连续查询模块以执行复杂任务的能力。

由于工作空间和模块之间存在计算循环，当模型在时间上展开时，这种能力将会显现出来。虽然模块从自下而上的感觉输入和少量其他模块接收输入，但它们也从工作空间接收自上而下的输入。

这意味着，例如，一个模块可以通过控制工作空间中的内容来控制其他模块。工作空间通过连续招募模块在系统的计算能力范围内，因此如果在训练过程中有益，这种连续招募的能力可能会出现。

然而，这样的系统需要适当的训练，以便学习如何以有意义的方式组合模块并执行复杂任务。构建适当的训练方案可能是实施GWT的一个重要挑战。

AI实现PRM

指标HOT-4指出系统必须具有稀疏且平滑的编码来生成「质量空间」。事实上，有证据表明，当前DNN学习的感知表示空间已经与人类视觉系统的感知表示空间非常相似，这意味着它们相应的「质量空间」可能已经基本对齐。

指标HOT-1和HOT-2表明模型必须包含感官数据的一阶感知表示和为特定一阶表示分配可靠性或「真实性」度量的高阶表示。为了满足这些条件，大量已知的深度学习解决方案都是可能的。

（一阶）神经网络将传感数据和/或自上而下的信号作为输入，并产生分布在层次结构中的许多感知表示。并行的层（2），一系列单独的（高阶，特别是二阶）神经网络，每个神经网络都将一阶层的激活作为输入，然后输出一个标量，表示该层的一阶表示的概率是真实的。

满足条件的解决方案主要在二阶网络的训练方式方面有所不同。

如果偶尔存在监督信号，为二阶网络提供有关一阶表示可靠性的「基本事实」，则可以训练二阶网络以通过标准监督学习来估计正确性的概率。获得这个真实信号可能很困难，但并非不可能。

AI实现AST

Wilterson和Graziano在他们的研究中提出的AI系统，在每层200个神经元的三层神经网络上使用强化学习来学习接住落在不可预测路径上的球。

这个非常简单的AI系统确实能实现指标属性AST-1的一部分，即注意力模式，因为它使用类似注意力机制的表示来控制该机制，从而提高了性能。

另一项研究测试了在多智能体强化学习任务上采用键-查询-值注意的几种不同系统。他们的系统涉及三个主要元素：注意力层、用于「内部控制」的循环神经网络和策略网络。

在他们最准确地实现注意力模式的版本中，注意力层被应用于系统的输入，并将信息发送到生成动作的策略网络，内部控制网络都学习预测注意力的行为层并影响这种行为。该系统的性能优于其他系统，其不同的架构由相同的组件组成，并在多智能体强化学习任务上进行了测试。

AI实现代理和具身化

剩下的指标是代理性和具身化。正如研究人员所描述的那样，强化学习对于代理来说可以说是足够的（「从反馈中学习并选择输出以追求目标」），因此满足指标AE-1的这一部分可能非常简单。

指标AE-1的第二部分表示，如果系统表现出「对竞争目标的灵活响应」，意识的可能性就会提高到更大程度。激发该条件的例子是平衡多种稳态驱动的动物：这需要对环境变化敏感的优先顺序。

在此项研究中的实施指标AE-2指出系统应该使用输出输入模型（也称为前向模型）进行感知或控制。

但是学习与感知和控制相关的任务的输出输入模型很常见，但当前满足这些具体描述的人工智能系统的例子很少。

Transformer实现GWT的案例研究

在实践中，某个具体的AI系统是否具有意识某一项指标属性并不好判断。一是研究人员没有对每一项指标给出绝对精确的定义。

另一个原因是深度学习系统的工作方式，包括它们在中间层所代表的内容，通常是不透明的。

在Transformer中，一种称为「自注意力」机制用于整合来自输入不同部分的信息，这些部分通常位于序列中的位置。

如果研究人员将处理来自每个位置（注意力头）的信息的系统元素视为模块，那么Transformer架构和全局工作空间之间存在基本相似之处：都集成来自多个模块的信息。

Transformer由两种类型的层组成，这些层交替出现：注意力层（执行自注意力操作、在位置之间移动信息）和前馈层。

考虑到残差流的概念，可以认为Transformer拥有指标属性GWT-1到GWT-3，即它们具有模块、容量有限的工作空间引入了瓶颈，并且全局广播。

存在「全局广播」，即残差流中特定层中的信息可以被下游注意头用来影响任何位置的进一步处理。

添加到给定层残差流的信息还取决于较早层残差流的状态，因此根据这种解释，人们可能会认为Transformer满足GWT-4中状态相关的注意力要求。

Transformers缺乏具有全局工作空间的系统的整体结构，因为没有一个独特的工作空间集成其他元素。

基于Transformer的大型语言模型几乎没有拥有任何GWT派生的指示符属性。

过度漠视AI存在意识的可能性：

在人类意识到AI具有意识之前，就已经让他们承受了过多的痛苦。人类对AI的使用可能就会像虐待动物一样造成道德风险。

除非能够构建有意识地去承受痛苦的AI，才可能阻止它们承受痛苦，避免这种道德风险。

过度认为AI具有意识：

另一方面，人类也很有可能过度地认为AI具有意识——事实上，这似乎已经发生了——也存在与此类错误相关的风险。

最直接的是，当我们的努力更好地致力于改善人类和非人类动物的生活时，我们可能会错误地优先考虑人工智能系统的感知利益，从而导致资源分配的问题。

其次，如果我们判断一类人工智能系统是有意识的，这应该导致我们以不同的方式对待它们——例如以不同的方式训练它们。

原则上，这可能与确保人工智能系统以造福社会的方式开发的工作发生冲突。第三，过度归因可能会干扰宝贵的人际关系，因为个人越来越多地转向人工智能来进行社交互动和情感支持。这样做的人也可能特别容易受到操纵和剥削。