AI「心灵之眼」被看透！大改神经网络，模型生成背后逻辑首现
新智元报道
新智元报道
【新智元导读】生成式AI是如何思考的？
你有没有想过外星人的小脑壳里在想些什么，他们怎么感知这个世界？
（我知道这个问题非常抽象）
国外有个小哥也对外星人的思想非常感兴趣，于是，他借助AI的力量，生成了一系列图片，尝试构建了一种「外星人的思维模式」。
小哥的想法非常简单，尝试去捕捉外星人脑海中的图像。
举例来说，对于一个传统的生成式AI，我们输入「一只戴着派对帽的猫」，就会大概率生成下面这张图片。
这张图片是符合我们的预期的，因为生成它的AI是按人类的思维训练出来的。
现在，小哥的方式就是，修改这个AI的神经网络的一些组成部分，比如内部结构，重置该网络内部各部分的权重，是不是就能让生成出来的东西接近外星人的所想呢?
比如，改着改着可能就成下图这样了，愈发抽象。
可以说，最后的图片简直随意——至少在我们的认知里是这样。
这实际上就有了一个平台，可以进一步探索什么是外星思维。
小哥表示，这就像是一种人工神经科学，但是研究的不是真实的人类大脑，而是一种神经网络类似物。
用AI生成图像
AI之所以能生成图片，就是因为接受了某种训练，知道什么样的图片是合理的，以及如何确定图片的内容。
换句话说，AI就是要随机生成合理的图片，检查生成图片的内容，进行微调，慢慢变成人们想要的图片。
而实际上，何为合理，其实也是有章可循的。
存在一些规律性的东西来定义合理，比如：像素不是随机的，相邻的像素通常高度相关，如果有一张脸，那么或多或少得是对称的，如果图片顶部是蓝色，底部很可能是绿的，等等。
重要的技术点就在于，用神经网络来捕捉图像中的规律性，再来按要求生成新的图像。
下面是一些随机生成的例子——
虽说看着是随机的，但大体还是得遵守用来训练的那数十亿张图片的一些规律。
也就是说，上面这些图片虽看着随机且抽象，但有一些还是包含了一些人像、风景的内容。就算没有什么实质性内容，也是有结构可言的。
那么，我们如何得到一张戴着派对帽的猫的图片呢？
第一个问题是：我们如何知道自己是否成功了。
很简单对吧，我们只需要看看我们生成的图像是什么就可以了。但事实证明，我们也可以训练神经网络来做到这一点，虽然并不总是准。
神经网络是如何训练的呢？
基本思路是获取数十亿张图片，起个标题，然后逐步调整神经网络的参数，使其在接收到相应图片时能够再现这些标题。
神经网络还能给从未见过的图片起一个合理的标题，也就是说，通过计算构建的神经网络的行为方式与我们人类的行为方式完全相似。
我们可以利用这种功能，引导我们生成的图像达到我们想要的效果。
从「纯随机」开始，然后尝试「构建随机性」，制作出一幅「合理」的图片。换句话说，逐步尝试得到我们想要的图片。
在实践中，这种方法是从随机像素阵列开始，然后迭代形成想要的图片：
我们不知道人类大脑中的心理图像是如何形成的。但可以想象的是，这个过程并没有太大的不同。实际上，当我们试图想象出一个合理的形象时，我们会不断检查它是否与我们想要的一致。
所有事物最终都可以用数字数据表示，这是整个计算范式的基础。
但神经网络的有效性却依赖于一个略有不同的理念，即至少可以将多种事物视为以实数阵列为特征的事物。
最终，我们可能会从神经网络中提取出「猫」这个单词，为图像添加标题。
但在神经网络内部，它将与数字数组一起运行，这些数字数组以某种相当抽象的方式与你给出的图像以及它最终生成的文字说明相对应。
一般来说，神经网络通常被认为是将「特征向量」与事物联系起来，无论这些事物是图像、文本还是其他任何东西。
但是，像猫和狗这样的单词是离散的，而与之相关的特征向量则只包含实数的集合。
这就意味着，我们可以考虑整个空间的可能性，而猫和狗只是对应于两个特定的点。
是的，如果我们愿意，我们还可以继续超越猫--很快事情就会变得相当奇怪：
我们在来看看通过标准猫的特定二维平面上会发生什么：
标准猫处于中间位置。当我们远离标准猫的位置时，奇怪的事情就会发生。
简单来说，越远越不像猫。
这里的一切都非常怪异，有时甚至有些令人不安。下面是我们在标准猫周围（随机选择的）同一平面上看到的放大图：
这些都是什么？从某种意义上说，我们无法用语言来表达。
它们是概念间空间海岸上的事物，人类的经验（尚未）把我们带到那里，人类的语言也尚未发展出来来描述这些图片。
如果我们进一步探索概念间空间——比如只是在空间中随意取样呢？
就像我们上面看到的那样：我们会得到一些图片，这些图片在某种程度上具有统计的典型性，就像我们人类在网络上发布的图片一样，AI也是在这些图片上训练出来的。
下面还有几个类似例子：
那么，人工智能到底看到了哪些图像，并据此形成了这个概念间空间模型呢？
从网络上收集到的图像有几十亿张。就像网络上的东西一样，这是一个杂乱无章的集合。
下面是一个随机样本：
如果我们不是从一个可描述的概念（比如戴派对帽的猫）开始，而是从概念间空间的一个随机点开始，会发生什么呢？我们会看到以下几种情况：
概念空间的图像
概念间空间中的许多图像都有一种奇怪的熟悉感，但又有些陌生。我们经常能看到一些看起来像是人的照片，但又不太对劲。
对人类来说，因为我们对人脸特别敏感，所以更容易识别出人脸部分的不对劲。
同时，只拍躯干而没有脸部的照片也会显得很奇怪。
到目前为止，人是最常见的可识别元素。但有时也能看到其他事物：
还有一些风景类型的场景：
有些照片看起来相当真实，但有些则从更抽象的元素中建立起风景的印象：
偶尔也有类似城市风景的照片：
还有更少的室内场景：
还有一些照片看起来像是某种外景：
我们经常可以看到由线条、点或其他印象派构成的图像：
还有很多图像似乎试图表现某种东西，但却完全不清楚那是什么东西，也不知道它是否真的是我们人类能够识别的东西，或是某种本质上陌生的东西：
此外，我们还经常看到一些看起来更像是「纯图案」的作品--它们看起来并不像是在试图成为某种东西，而更像是某种装饰性纹理。
不过，最常见的一种图像可能是通过重复各种简单元素形成的均匀纹理，不过通常会有各种「错位」：
在跨概念空间中，我们看到的图像种类繁多。
许多图像都具有某种艺术特质——让人感觉它们是对世界上也许是平凡的事物或简单、本质上是数学模式的某种「心灵诠释」。
在某种程度上，所涉及的「心智」是我们人类的版本，反映在神经网络中，它也能体验人类在网络上发布的许多图像等。
但在某种程度上，这种思维也是一种更加陌生的思维，它是由神经网络的计算结构形成的，具有其特殊的特征，而且毫无疑问在某些方面具有计算上不可还原的特征。
事实上，有一些重复出现的图案可能就是神经网络底层结构特征的反映。
例如，明暗交替的「颗粒状」外观可能是神经网络卷积部分动态变化的结果，类似于在一定有效像素范围内迭代模糊和锐化的结果。
让思想变得陌生
我们可以想想到目前为止所做的工作，探索一个受过类人经历训练的头脑，能够通过概括这些经历来 「想象」什么。
但是另一种思维会想象出什么呢？
具体来说，我们可以利用一直在使用的神经网络，对其进行更改，看看这对它产生的图像有什么影响。
稍后我们将讨论网络是如何建立的细节，但这里只需要说它涉及391个不同的内部模块，总共涉及近10亿个数字权重。
当网络被训练时，这些数字权重会被仔细调整，以达到我们想要的结果。
但是如果我们只是改变它们呢？我们仍然会得到一个可以生成图像的网络。
但在某种意义上，它会以不同的方式思考，所以生成的图像可能会有所不同。
因此，作为一个非常粗糙的首个实验，让我们依次「敲除」每个连续的模块，将其所有权重设置为零。
如果要求神经网络生成一张「戴着派对帽的猫」的图片，得到如下图片：
再更详细地看看这些结果。
在大多情况下，将单个模块归零并没有太大区别。例如，它可能基本上只会改变猫的面部表情：
但它也可以从根本上改变猫（和它的帽子）：
它可以改变猫的形状或位置（是的，其中一些猫爪子的形状是不正确的）：
清零其他模块实际上可以改变猫的「渲染」：
但在其他情况下，事情可能会变得更加混乱，我们很难解析：
有时那里显然有一只猫，但它非常奇怪：
有时我们得到的图像有明确的结构，但似乎与猫没有任何关系：
还有一些情况下，我们基本上只是得到「噪音」，尽管有叠加的东西：
但是有一些模块（就像我们原始列表中的第一个和最后一个模块），将它们归零基本上会使系统根本无法工作，只会产生「纯随机噪声」。
正如我们将在下面讨论的，我们正在使用的整个神经网络有一个相当复杂的内部结构。例如，有几个根本不同类型的模块。
但是这里有一个例子，如果一个人在网络的不同位置清零模块会发生什么。我们看到的是，在大多数情况下，模块的位置和清零模块会产生什么影响之间没有明显的相关性：
到目前为止，我们只是看看，如果我们一次清零一个模块会发生什么。
以下是一些随机选择的例子，说明如果一个连续清零更多模块会发生什么（人们可以称之为「哈尔实验」（HAL experiment），以纪念电影2001中虚构的哈尔人工智能的命运）：
基本上，一旦图像的「猫」消失以后，事物变得越来越陌生，会以明显的随机性结束。
相反，我们可以随机化模块中的权重，而不是将模块归零——但结果通常至少在质量上相似：
我们可以做的其他事情就是，逐步将随机性均匀地混合到网络中的每个权重中。
这里有三个例子，在每种情况下，0%、1%、2%……的随机性被添加：
同样，我们可以逐步缩小到零（以1%的增量：100%、99%、98%，…）网络中的所有权重：
或者我们可以逐步增加权重的数值：
https://writings.stephenwolfram.com/2023/07/generative-ai-space-and-the-mental-imagery-of-alien-minds/
微信扫码关注该文公众号作者