Andrej Karpathy：计算的本质正在变化，数字实体和物理实体自动化刚开始

这里给大家分享其中的一段流出来的演讲内容：

Andrej Karpathy，

大家好，非常感谢大家邀请我，能来到这里我感到非常荣幸。我非常喜欢 hackathon，因为这里充满了能量和创造力，年轻人们在一起做很酷的事情，一起学习和创造。我参加过很多 hackathon，所以今天能在这里和大家交流我感到非常高兴

有件事让我感到意外，这个活动的规模比我预期的要大。当他们邀请我的时候，我没想到规模这么大。这里真的很大，hackathon 的规模也确实很大。我想先说的是，以防你们好奇，这对 AI 来说是不正常的。我从事 AI 研究大约有 15 年了，所以我可以很有信心地说，它已经发展了很多。对我来说，AI 是几百个学者聚在一起开会，讨论一些数学上的深奥细节，这就是我习惯的场景

当我 15 年前进入 AI 领域时，训练神经网络时，你会用 MNIST 数据集上的小数字，训练受限玻尔兹曼机 (Restricted Boltzmann Machine)，使用对比散度 (Contrastive Divergence) 来训练网络，然后在第一层上仔细检查这些，确保网络训练正确。我知道这些听起来有些复杂，因为那已经是很久以前的事情了，但那时候的感觉是不同的，并没有现在这么疯狂。我觉得事情已经有些失控了，但看到这样的能量真的很美妙。今天 15 年后，情况完全不同，现在的 AI 领域更像这样。这也是为什么这个活动如此盛大

Nvidia 作为制造 GPU 的公司，用于所有的神经网络的重型运算，现在是美国最有价值的公司，并且已经占据了主导地位。这就是我们今天生活的时代，也解释了为什么有这么多像这样的 hackathon。我觉得这很了不起，但确实是前所未有的。这是一个非常独特的时刻，许多人可能刚刚进入 AI 领域，这种情况并不常见。现在这个领域非常有趣，超级人类化，正在发生很多事情

我认为根本原因在于计算的本质正在改变。我们正在进入一个新的计算范式，这种情况非常罕见。我几乎觉得像是回到了 1980 年代的计算机时代，不再是中央处理器 (CPU) 处理指令和字节，而是大语言模型 (LLM) 处理 Token。Token 是一些小字符串片段。我们有 Token 的上下文窗口，而不是 RAM 中的字节，并且有磁盘等的等效物。这有点像计算机，但现在大语言模型是核心，这就是为什么我称之为大语言模型操作系统LLM OS

我在X上详细讨论过这个，我把它看作是我们正在学习编程的新计算机，了解它擅长什么，不擅长什么，如何融入产品，如何最大化利用它。我觉得这非常令人兴奋

可能许多人看过 OpenAI 最近发布的 GPT-4 o 演示，大约两三周前。你们开始感觉到，这是一件你可以对话的东西，它以你的自然语言回应，就像音频界面。它可以看见、听见并绘画，可以做很多事情。很多人看过这部电影《她》 (Her)，如果没有看过，我强烈推荐，因为它对我们今天非常有启发性。电影中的主角与 AI 对话，AI 被称为操作系统 (OS)，这非常有先见之明。这是一部美丽的电影，我鼓励大家去看

电影中聚焦的是情感智能方面，但这些模型在现实社会中，将会解决大量数字领域的问题。不仅仅是单一的数字实体，有点像人类，可以与之对话。不仅仅是单一的数字实体，可能有很多这样的数字实体。我们可以给它们任务，它们可以互相交流，协作，有虚拟的 Slack 线程，在数字空间中完成大量工作。它们自动化了大量数字基础设施，不仅是数字基础设施，也许还有物理基础设施。这是早期阶段，可能会比很多数字创新稍微滞后，因为处理比特 (bit) 比处理原子 (atom) 容易得多

我想推荐另一部电影，这是我最喜欢的电影之一，叫做《我，机器人》 (I, Robot)，2004 年威尔·史密斯主演。这是一部很棒的电影，探索了未来人类机器人在社会中完成大量任务的情景。剧透警告，电影中的人类并不太顺利，机器人有点接管了，但我觉得这很有趣。

来源：AI寒武纪