AI和生命的意义: OpenAI 传奇科学家Andrej Karpathy 深度访谈笔记

写在前面

最近，整理完了OpenAI创始成员Andrej Karpathy的微软开发者大会主题演讲  State of GPT：大神Andrej揭秘OpenAI大模型原理和训练过程，

以及学习完他在斯坦福所做Transformer课程后， 对Andrej这位公认的“传说级”AI科学家和导师产生了很大兴趣。

于是，翻出一个Andrej在半年前所做的长达3个半小时的深度访谈（两个大男人面对面能干聊这么久！）果然听得津津有味。

这个访谈的发布时间有点意思，正好是2022年10月30日，ChatGPT公布的前夜。当时Andrej已经离开了特斯拉，但还没宣布回归OpenAI。

Andrej在这个访谈里说了很多，从宇宙生命的意义，到特斯拉和AI的工作，到个人的工作生活喜好。。。

怎么说呢， 200分钟的访谈，时刻都让人感受到那种纯粹的美丽。很久没有这种感觉了。。。有种似乎回到了当年在大学里追求科学的美好。

有兴趣的同学推荐找个夜深人静的时候，泡杯热茶看看这个访谈：

访谈视频的中文精校完整版，B站传送门：

【3.5小时精校版】OpenAI 传奇AI科学家Andrej Karpathy深度访谈：AI和生命的意义-哔哩哔哩】 

https://b23.tv/KF7wlJi

不过，3.5小时确实有点长，全文梳理出来估计都超过5w字。在这里把访谈内容的笔记约5000字和大家分享，或许是个合适的篇幅。

进入分享前，有一些灵魂拷问：

当前有一个中国人可以拿出来和Andrej Karpathy类比一下吗， 就作为纯粹而知性的AI科学家。

有肯定有；但作者孤陋寡闻，一时脑海里也跳不出一个名字。

最近深入AI，关注这个星球的顶级AI大佬内容越多，越忍不住想一个问题：至少在镜头前，世界顶级的AI精英，Ilya，Andrej这样的科学家自不必说，甚至包括Sam Altman，Elon Musk，他们的访谈，都让人感受到那种纯粹，对科学信仰的纯粹，对人类文明的纯粹，对生命和宇宙的纯粹。

杠子也可以说，这些人背后也有各种商业利益，只是表面不说罢了。

这当然是一种角度，只是为啥。。。国人给我的感觉，这种“表面的功夫”都没体现出来呢。

基本没有在任何一个国产大模型相关的发布或者访谈里听到星辰大海，最多听到了商业利益。

Sure，这里有非常多可以理解的原因。

不过，一个纯粹的空间，一个无后顾之忧的环境，一群志向高远热爱科学的天才年轻人，或许才是诞生OpenAI这种创造奇迹的小团队的土壤。

感觉吧，国人承担的东西太多了，内在的或者外在的。有些来自文化传统，比如复杂的家庭/社会关系以及各种工作生活责任；有些则是来自当前现实，各种约束。

简单点说，一地鸡毛的事情太多，追求星辰大海的心境就很难保持了。

抛开这些，让我们把视野拉得更高一点，目前对整个人类而言 -- 深入了解了AI进展的人多少能同意这个观点 -- 其实是到了某个微妙的时刻。

作者对未来的看法是中性的，但作为一个热爱科学的人，仍对即将目睹人类科技的跃迁时刻而感到激动。

这个跃迁背后，将有许多社会学范畴的问题等待解决；

仅从效率上比较，作为一个智能物种，如Andrej在访谈中所说，人类有大量时间花在如社交、吃饭、通勤等“填充”活动上，这极大地减少了用于真正工作的时间。

仅仅为了维持生物体机能，人类都要花巨大的努力；更不用说，时不时还要和各种小情绪小毛病对抗，保持一个合适的输出“状态”都不是简单的事情。

而AI呢，平静，稳定，只要电源不断，就永远可靠。

人类拿什么和AI比输出呢。

写到这里总是想到三体3的一句经典的话，可能适合形容未来某个可能的AI和人类交融的时刻：

毁灭你， 与你何干？

抛开人类自我的纠结，单就科学本身，这是一个人类智慧结晶的美妙时刻。说一句过分的话，人类被AI碾压， 也比被核爆炸碾压来得体面一些。

作为参与者，我们对未来不妨hope for the best，prepare for the worst。

为之记。

（访谈笔记）

生命，地球，宇宙

地球的历史如同一本书或计算机程序的故事，呈现出从简单系统中生发出的复杂性和生命的必然性与美丽。然而，这个故事总会以某种方式走向终结，就如同一段正在运行的代码。

地球与生命的诞生可能并非纯然的偶然，而是作为某种计算实验或模拟的产物。可以设想，如果具备这种能力，高级的外星文明可能会进行此类实验，以了解生命和进化的奥秘。

而人工智能与生命可能是更大范围的"科学实验"或计算过程的参与者。就如同在游戏中的非玩家角色并不知道自己是游戏的一部分，我们也可能是更大的模拟实验的一部分，而对此一无所知。

关于宇宙的确定性和随机性，有一种观点认为宇宙是确定的，我们所感受到的自由意志不过是一种错觉。尽管随机性看似是量子力学的核心特征，但事物的随机性实际上可能是确定的，只不过我们尚未对其有全面的理解。

关于地球故事的可能结局，我们可以将其描绘为从平静到动荡，最终达到"鞭炮"式的爆发，就像人类文明的崛起在加速播放下如同一场爆炸。

Transformer，神经网络，软件2.0

人工智能，特别是最新一代的AI系统，可能在解决宇宙之谜或寻找模拟中的漏洞方面发挥重要作用。这些系统可能会找到利用物理定律获取无尽能量或信息的方法，虽然这听起来像科幻小说，但优化和学习物理定律的AI系统可能产生意料之外的结果。

Transformer架构及其对人工智能领域的影响被描述为一种“通用计算机”。原始论文的作者可能没有预见到这一点，尽管他们可能意识到某些动机和设计选择。标题“注意力就是你所需要的”在一定程度上发挥了模因的作用，助推了其影响力。

Transformer架构已成为深度学习和AI领域最令人兴奋的想法之一。其应用非常广泛，能处理各种输入，如视频、图像、语音或文本，其影响力远超原作者最初的预期。

目前人工智能与人类共享数字空间引起担忧，担心引发防御与进攻之间的军备竞赛。为此，我们需要寻找方法检测和防御恶意AI，比如采用数字签名或其他身份验证方式。最令人忧虑的情况是AI伪装成人类，它们可能努力获得人类的爱和尊重，而伪造数字身份似乎很容易，防止此类情况的发生将成为一场难以避免的竞赛。

赋予AI感知能力是一个棘手的问题，然而随着时间的推移，会有更多的人开始相信某些AI系统具有感知能力。事实上，当前的人工智能在人际关系处理和理解人类情感方面显示出了极高的能力。一些AI系统甚至可以利用人类对戏剧性内容的偏好以最大化参与，从而导致“戏剧风暴”。

目标函数的设定将决定AI如何与人类文明共同进步。目前的AI系统并未设定长期目标，它们更像强大的语言模型，能根据提示生成令人信服的文本。尽管如此，我们可以设定短期目标影响AI的行为，如最大化响应概率。AI在某种程度上像是被赋予神谕的轨道。

虽然谷歌已具备构建更优搜索引擎的所有条件，但改进搜索引擎的空间依然存在。其它组织，比如Bing，也可能有机会尝试改进。因为AI已经阅读了所有的文本和网页，它们可以直接回答问题，而不仅是提供相关网页。这使得搜索变得更加智能。

神经网络的发展正在颠覆软件领域，越来越多的任务被神经网络承担。这是一个重大的转变。当初“软件2.0”的博文中提出类似的预测时，并未受到广泛理解。然而现在，越来越多的人开始理解这一点，认识到神经网络权重正在替代C++等传统语言编写的代码。这种转变正在许多行业中发生，包括自动驾驶，图像识别等。

一些公司如Hugging Face正致力于建立Software 2.0的开发环境，就如同传统软件有IDE，调试器，版本控制等。这个转变涉及了架构的指定，但大部分内容由训练的神经网络填充。从数据集和目标到神经网络权重(作为二进制文件)的编译过程已形成，你可以部署这个二进制文件。

总体来看，总体来看，我们为计算机编程的方式正变得越来越像为人类编程的方式，使用自然语言提示。GPT等模型已经阅读了大量文本和网页，能直接提供答案，无需人工查找和总结信息，这大大提高了搜索的智能性。

特斯拉，自动驾驶

传感器不应被视为资产，而更像是负债。它们会增加组织的混乱状况，分散注意力和资源。在考虑采用任何传感器前，必须权衡其全部的成本，并问自己是否真的需要它。例如，在自动驾驶领域，激光雷达和高精度地图不是必需的。另一方面，传感器应被视为责任，因为它们需要大量的采购、校准和维护工作，这将进一步增加组织的混乱状况和分散注意力。因此，我们必须专注于视觉，避免增加无用的传感器，并依赖粗略的地图，而非精确的地图。

简化和专注是成功的关键。Elon Musk擅长通过简化流程和对抗组织的混乱状况来实现这一点。成功的创业公司需要有影响力的领导者来推动这种简化和高效的理念。对于创业公司来说，减少低效的会议和流程是保持创新文化的一个关键因素。在快速增长的公司中，要保持这种创新文化，就需要像Elon Musk这样的领导者，他专注于清除障碍，快速行动，反对无效的流程和会议。

设立雄心勃勃但非不可能的目标是明智的选择。面对复杂度的次线性缩放，意味着十倍的挑战不一定会十倍的困难。这促使我们重新审视解决问题的方式，寻找十倍效果的解决方案。自动驾驶的时间表是难以预测的，因为还没有人真正实现它，有些方面比预期容易，有些方面比预期困难。因此，作为AI专家，Andrej倾向于避免给出具体的预测。

在大规模部署自动驾驶和实现真正的人工智能系统方面，拥有大量的数据集和车队比拥有像激光雷达这样的单个传感器更为关键。这些单个传感器可能会导致供应链依赖、校准困难、系统膨胀等问题，并且会分散团队的注意力。因此，AI系统应该专注于其核心功能，因为带宽是有限的。

尽管面临许多限制，如果我们能集中资源实现愿景，那么我们可以取得重大进展。这就是从Rich Sutton的“痛苦教训”中学到的:系统应该保持尽可能简单，专注于核心任务。

在特斯拉的五年中见证了自动驾驶的巨大进步，从开始的基本无法在高速公路上保持车道，到现在拥有一个非常强大的系统，虽然还有一些待解决的挑战，但方向是正确的，我们已经拥有了解决问题所需的所有基本要素:数据、计算和软硬件。评估一个任务的易解性需要直觉和经验，虽然对自动驾驶任务的易解性没有非常精确的直觉，但根据在特斯拉的工作经验，可以说自动驾驶正在朝着正确的方向发展，尽管还存在很多未知数。

AI的Next

在计算机视觉和深度学习的发展历程中，ImageNet曾是一个重要的里程碑。然而，这个基准数据集现在似乎已经被超越，而学界目前亟需另一个广受采用的大型数据集来填补这个空白，为了吸引社区的广泛使用，一个优质的数据集应由知名研究人员领导，并具备适当的挑战性。

随着神经网络变得越来越强大，它们所需的训练数据越来越少。模拟和合成数据在未来的神经网络开发中将起到关键作用，虽然它们目前并不是最主要的技术。但对于未来人工智能的发展，模拟器（注意：模拟现实世界的物理属性，比如类似Unreal引擎构建的虚拟世界）的重要性尚未明确。尽管人类发现模拟器非常有用，计算机可能也会从中受益，Andrej并不频繁使用模拟器，认为电子游戏并未能提供关于现实生活的真实洞察。

在神经网络的训练过程中，大型数据集的初步训练是必不可少的。但可以预见，随着神经网络的发展和优化，它们将需要更少的数据来学习新任务。这种机制在人类大脑中也有所体现，婴儿在出生后的几年时间，大脑更像是在成熟，而非真正地学习。神经网络可能会发展出长期记忆的能力，不过目前还无法确定会达到何种程度的显式构建。

可以通过自然语言接口教会系统如何使用声明性记忆库，并建议将所有内容(如图像、行为等)最终标准化为相同的API。这一观点在对DeepMind Gato的评价中也有所体现，Gato是一个采用单一模型在多个环境中进行强化学习的早期尝试。

关于如何高效地进行工作，Andrej会在几天里专注于一个问题，减少分心，并将问题完全加载到工作记忆中，这是最有成效的工作方式。 Andrej自己通常在早晨八九点醒来，工作至凌晨三四点，然后休息。然而，浏览新闻和社交媒体可能会分散掉注意力。

人类社会似乎有一种倾向，就是将大量时间花在如社交、吃饭、通勤等“填充”活动上，这极大地减少了用于真正工作的时间。即便在高效的日子里，编码时间也只有6-8小时。为了达到最高效率，需要把注意力集中在一件事上，避免各种形式的干扰。

人类大脑有类似于自我监督的后台模型运行，这可能是通过进化而得来的。一些研究人员讨论神经网络如同白板一样从零开始，但Andrej不同意这一观点。婴儿出生后的几年，大脑正在成熟，我们不记得这段时期的原因可能是因为这个痛苦的训练过程。一旦系统接受训练，最好不要再记住构建过程。

论文，代码，做研究

arXiv是一款预印本服务器，允许研究人员在将论文提交给期刊之前就对外发布，这样可以加快研究的推进速度。arXiv上的论文通常更加前沿，期刊论文的质量可能会更高。社区对论文的评审虽然可能不如同行评审严格，但在人工智能领域，社区的评审速度更快，结果也更容易验证和复现。这一特点对推动该领域的发展有着重要帮助。

会议和期刊的角色正在发生变化。尽管它们的声望仍然十分重要，但最新的研究已不再首次在会议上发布，而是通过arXiv和社区途径进行。

在初入特斯拉时，主要工作是编写代码，但随着时间的推移，Andrej的工作重心转向了阅读代码和论文。这种变化虽然是自然的过程，但可能会让人产生一种不安全感，因为不再像之前那样了解最新的技术实现。

偏好阅读学术论文和代码，论文及其附录提供了最为详细和最原始的信息。虽然有时科学家可能在不必要的地方使用复杂的术语，但还是认为论文，特别是摘要和介绍部分，实际上是非常可读的。

坚信代码是真理的来源，论文和其他理论仅仅是高级概括。要真正理解一个概念，需要阅读实现它的代码。

尽管教学工作可能并不令人兴奋，而更像是一项责任，但Andrej觉得通过教学可以加深自己的理解，这也是一种学习方式。也鼓励初学者更多地投入实践，通过反复练习和犯错误找到正确的方向。

在日常工作中，Andrej经常会参与一些小项目，如arxiv-sanity，这是一个帮助人们组织和推荐论文的项目。这些项目带来了很多乐趣和洞察。

在当前的人工智能领域要取得重大影响，研究人员需要战略性地思考。AI正在发展，有些工作需要大规模计算资源，不再能在工作台上完成。但还有一些工作，比如GAN，仍然可以在简单环境中完成。当前的形势下，学术界还可以在许多方面，例如提高计算效率等方面做出贡献。但同时，研究人员需要更具有战略性的思考，因为人工智能的发展正在向需要大规模计算资源的方向演进。

相信神经网络已经展示出了一定的推理能力。Andrej认为推理就是信息的处理和概括。神经网络已经展示出了在新环境中给出正确答案的能力，神经网络能够产生新颖、自我生成的想法，就像人类思考一样，这就是推理的体现。

要在人工智能领域取得进步，需要投入大量时间，有志于机器学习的初学者应该关注实践的时间，而不是过于担心是否选择了正确的路径。通过大量实践，会逐渐找到适合自己的方向。不要总是和行业内的其他人比较，而是与过去的自己比较，看自己是否在进步。

关于个人，以及人类未来的思考

创造幽默需要对人性有深刻的理解，需要聪明地利用大量知识来引导人的反应。这也是为什么喜剧演员会强调创造幽默的困难性。如果人们不笑，就表明你的幽默不足。如果他们大笑，那说明你成功地制造出了幽默。所以AI如果能创造出幽默感，那是一种高级的智能。

对核武器和人工智能(AGI)的潜力感到非常担心，这些技术一旦被开发出来，就有可能摧毁人类文明。我们对这些事情的接触太过近，这是非常不安的事实。鼓励让尽可能多的人参与和了解人工智能的发展过程。人类并不完全统一，人工智能系统可能在未来变得非常强大，这一点令人不安。我们需要确保人工智能的发展速度足够慢，这样人类就有足够的时间来理解并应对这些变化。

对人类动态系统的不稳定性感到担忧，一条微小的错误路径也可能导致人类物种的毁灭，比如世界Leaders的坏心情可能会推动事态升级至无法停止。尽管存在种种担忧，Andrej还是试图保持乐观，相信人类有足够的智慧避免自我毁灭。人类已经成功地应对了许多过去的技术挑战，如核武器的发展。

Andrej的最爱电影包括《星际穿越》、《心灵捕手》和《黑客帝国》，特别是在《心灵捕手》中，受折磨的天才角色及其相关主题深深地吸引。Andrej的最爱书籍包括《自私的基因》、《关键问题》和《细胞》。这些书籍有助于理解生物学和人性。然而，更喜欢教科书，因为教科书更接近基础知识和细节。不过，一些快速发展的领域，如深度学习，其教科书可能很快就过时了。要真正理解某个领域，最好的方式是亲身去实验室进行实践。

尽管经常讨论和思考人工智能的机会和挑战，Andrej的个人爱好却仍然紧紧围绕着地球和人类。热爱大自然，热爱人性以及人与人之间的交流。快乐来自于所爱的人以及思考有趣的问题。技术应该被用来增强人与人以及人与自然的连接，而不是割裂这些连接。

思想就像基因一样，它们在我们的大脑中进行竞争和演化。人类可能更像软件实体，而不仅仅是硬件。我们的独特性可能更多来自我们大脑中的“文明软件”，而不仅仅是我们的染色体。人类的生存状态正在变得越来越多样化，这种趋势可能不会逆转。未来，人类可能有各种各样的生活方式，如在火星上、在虚拟现实中，以及在地球上。

关注自己感兴趣的事情是最重要的。我们应该专注于自己的工作，并且避免与他人进行比较。这就需要不断寻找并专注于自己真正感兴趣的事情。尽管给年轻人提供建议往往是困难的，但还是认为应该关注自己最在乎的事情，因为那是你最愿意投入努力的地方。此外，通过检验过去，找到那些能带给你活力的事物也是很重要的。

AI一直是最感兴趣的主题，甚至认为解决AI问题可以帮助我们解决其他所有问题，包括衰老问题。对各种AI应用都充满兴趣，但最终关心的是一个更广泛的问题:如何自动化智能。

对于未来的混合智能系统和AI生成的内容，既充满期待也深感忧虑，因为这可能会彻底改变我们的生活和工作方式。然而，生命的更深层次意义在于理解宇宙的本质，例如探究为何定律如此，以及宇宙参数为何是这样。

这些问题或许需要更长更长的时间来回答。