对话凯文·凯利：现在监管 AI 为时过早，应该允许“失控”

张鹏：无论中美，最近人们都在探讨大模型。你对这一波大模型的技术变革有什么感受？会觉得十分震撼吗？

凯文·凯利：人工智能（AI）已经存在了几十年。当AI模型开始采用神经网络和深度学习时，出现了一个重大的飞跃，它们变得越来越庞大。大约4、5年前，它开始产生非常庞大的transformer模型（采用自注意力机制的深度学习模型）。而最近两年，它开始与大型语言模型进行接口交互。

其实最近，AI的重大变化不在于它的能力，这方面它的表现并没有好多少。最近AI真正的变化是，它让我们有了一个对话用户界面，可以用（自然）语言与AI进行真正的交流。而在此之前，人们需要学习大量的编程知识、非常精通才能使用AI。但现在，突然之间每个人都会用AI了。这才是真正令人兴奋的部分。

李志飞：我同意KK说的，目前大语言模型最主要的变化是自然语言交互能力的提升。这确实是很多普通老百姓能感受到的，也正因如此，今天ChatGPT才会产生这么大的社会影响力。

但我认为，今天的大模型在能力上也有很大的变化，而且正是这种变化才使得它的自然交互变得可能。因为实现自然交互背后，需要AI有很强的知识、理解能力、语言能力、推理规划能力等等。AI必须在这些基础能力上有突破，才能实现自然语言的交互。

并且我认为未来大模型的能力，将不仅仅是自然语言交互。比如写程序、企业自动化流程、机器人自动化等事情，都是不交互的，但它们未来也会成为可能。

张鹏：我非常认同AI跟人类更好的对话能力将会带来一波技术和商业的范式革命。如果说ChatGPT是AI发展的第二曲线，那它的出现到底是必然还是偶然？

凯文·凯利：ChatGPT的能力超出了所有人的预期。我不认为有人预料到这一点，包括人工智能领域的人士。实际上，大多数研究人员都不知道ChatGPT的工作原理，他们想努力改进它，但很困难，因为并不知道它是如何工作的。因此，ChatGPT的出现是一个意外。

尽管ChatGPT非常令人惊讶，但我们也看到了它的局限性。它主要的限制在于，这个模型是根据人类创作内容的平均水平进行训练的，因此它倾向于产生平均水平的结果。而我们常常想要的并不是平均水平，而是超过平均水平的东西。这很难做到。

其次，这些模型的优化目标是合理性，而不是准确性。因此，如何使它们更准确是当前所有人都在努力解决的重大挑战。

李志飞：我觉得ChatGPT的出现，从短期看是偶然的，但长期看是必然的。可以说，去年底OpenAI做出ChatGPT是偶然的，但就算它没做出来，很快也会有其他公司做出来。

这在技术的历史上无数次重演。以深度学习为例，2012年AlexNet第一个做出image annotation（图像标注），但当时很多信念、工程能力都很强的团队也在做，如果AlexNet没做出来，其他人也会做出来。还有2017年Google做出transformer，都是在解决之前RNN、LSTM这些序列模型低扩展性等问题，如果Google没做出来，其他团队也会做出来。

ChatGPT诞生的背景是，transformer已经很成熟了，而且我们有很强的算力去训练互联网的海量数据，所有ChatGPT必需的元素都已经具备，它的诞生是必然的。只不过，OpenAI在那个时间点把它组合得最好。

张鹏：聊到必然性和偶然性的问题，让我想到了最近非常热的一个词“涌现”。这个词在KK《失控》这本书出现过至少88次，今天我们应该如何理解涌现这个词的意义？

凯文·凯利：从英语的角度来看，“emergence”是一个术语，指的是一个系统的行为、一整堆相互连接的事物，比如互联网、机器人、身体、生态系统甚至整个世界，其行为不包含在任何单个部分的行为中。比如蜂巢可以记住超出单个蜜蜂寿命的事物，因此蜂巢本身具有一种行为、能力和力量，而单个部分没有。我们称之为“emergence”。

同样，许多正在生成的人工智能也是“涌现”的。因为在模型中没有一个地方能够解释它的来源，它需要所有部分共同协作才能产生这种新的能力。就像我们的大脑没有一个地方有“思想”，“思想”是从整个神经元中“涌现”出来的。思维、进化、学习等事物都可以从系统中“涌现”出来。

李志飞：我对“涌现”的了解来自《复杂》这本书，它讲到“more is different”，“多即不同”。就像中国的一句古话，“量变导致质变”。大模型第一次讲到“涌现”，是去年底斯坦福跟Google发的一篇文章。他们通过实验发现，通过增加大模型的规模，当到达某个临界点时，它会突然“涌现”某种能力。

我现在感觉，“涌现”这个词其实被滥用了。因为我们解释不清楚大模型的能力是怎么来的，就称之为“涌现”，这个词不可解释、也不可操控，对我们训练和应用大模型没有任何帮助。现在，大家不再研究“涌现”了，而是更多研究大模型参数量跟最终能力表现之间的量化关系，这可能对我们了解、把控大模型更有帮助。

张鹏：我们可以理解为，“涌现”会导致“失去控制”吗？

凯文·凯利：这样理解并不完全正确。当然，它会有“失去控制的部分”，如果你希望能够对“涌现”行为的力量加以利用，你可能需要容忍一些事物不受你的控制。目前在人工智能领域，我们对它的理解和控制可能还不够好，但这实际上是为了获得最佳结果所必需的。

但与此同时，我们又不能让一切都“失控”，我们必须进行一定程度的“控制”，也就是引导、管理人工智能。再次强调，我们不希望过度限制，但也必须实现一定程度上的控制。不过，我们很可能永远无法完全控制它们，特别是对于更强大的人工智能，我们很可能永远无法完全理解其工作方式。这就是其中的权衡。

张鹏：你写下《失控》这本书已经过去很多年了，在今天这个节点，结合着这一波的AI革命，你觉得《失控》有什么值得重新校准的部分吗？

凯文·凯利：我认为我在《失控》这本书中并没有过多谈论人工智能和失控，它其实主要讲了如何将简单事物制造成复杂事物。有一种叫做罗德尼·布鲁克斯的子系统架构，它提到你可以通过将智能的各个部分嵌入其中，制造一个复杂的机器人。这个通向复杂的过程是，你要在已经正常工作的事物基础上叠加其他东西。（布鲁克斯的架构理论提出，更高层级的行为需要包容较低层次的行为）。

就像昆虫，即使你割掉它的头，它也可以走路，因为行走的功能更多由局部完成。就像我们大脑有一个负责呼吸和其他自主功能的核心，我们是在这个基础上添加了更多的复杂层次。今天，当人们制造机器人和人工智能、并试图使它们更复杂时，这个思想仍然有效。这实际上是我在《失控》中谈论的唯一内容，而我认为这个观点仍然成立。

张鹏：我记得你之前有一个很有意思的视角，就是“假设科技是一种生命”，当它涌现出接近人类的智能，那它接下来会想要什么？这会对商业领域和人类社会带来什么影响？

凯文·凯利：技术是一种被我称之为“第七生命王国”的东西。我们加速了生命的进化，使它进入一个“干燥”的领域，不再需要“湿润”的环境，而是可以存在于硅中。我们可以利用我们的思维，制造出其他类似生命的技术。它们具有适应性，可以学习、成长。

我的观点是，基本上技术和生命一样，会追求同样的东西。例如，它们会在进化中增加多样性，也会变得更加专业化、更具体。我们身体有52种不同的细胞，包括心脏细胞、骨细胞和骨骼细胞等。我们也会制造出专门的AI，执行语言翻译、图像生成和自动驾驶等特定的任务。另外，技术还会跟生命一样变得更复杂，这是显而易见的。

最后，技术还将像生命一样“互利共生”。生命在演化过程中如此复杂，以至于它只与其他生命接触，从不接触非生物材料。比如你肠道内的细菌。它们只被其他活体细胞包围。未来，也会有一些AI不是为人类设计的，而是专门为其他AI服务。例如，将会有专门用于维护其他AI的AI、只与其他AI交流的AI。

“出门问问”的创始人李志飞。来源：受访者

李志飞：我想从一个工程师的角度解释一下AI跟生命的关系。几年前，很多人老是问我，“Alphago（第一个打败围棋世界冠军的计算机程序）到底是几岁的智商？”当时我特别不喜欢这种问题，因为没法回答。那时候，AI虽然可以下围棋、智商很高，但它并不能像3岁小孩一样进行自然语言对话。当时它跟人的机理是本质上不一样的。

但是最近这一阵子，我特别喜欢把AI比作一个小孩。我觉得核心是因为，今天的AI已经具备了小孩拥有的、真正的通用智能能力，比如知识、逻辑、推理、规划等等。所以我想说，今天的AI更像一个生命体了。它在智商上像一个5岁小孩，在知识上可能既像一个大学教授、也像一个刚出生的婴儿，这取决于它有没有见过那些数据。

基于这个理解，我觉得关于AI到底想要什么，需要重新思考。对于一个5岁小孩来说，他接下来首先会自我净化，其次是自我复制、进行协作。关于这个问题，我自己也没有很好的答案。

张鹏：当AI的能力快速成长时，很多普通人感到焦虑，害怕自己失去竞争力。KK在这个问题上有什么思考和建议吗？

凯文·凯利：即使AI技术已经发展了20年，但人们却觉得它是一夜成功，对它的成长速度和能力感到焦虑。我们总是容易想象最糟糕的情况，而不是最好的情况。我认为，应对变革焦虑的一个方法是回顾过去。实际上，过去人类也曾有过这种焦虑，但我们想象的糟糕情形从来没有发生过。这次很可能是一样的。

我发现自己应对焦虑的最好办法是尝试使用它们。我发现大多数焦虑来自于那些没有使用过AI的人，他们对AI保持着一种距离感。其实他们一旦开始尝试和使用，就会看到AI既有好处，也有局限性和危害。这将减少他们的焦虑。

李志飞：AGI今天不发生，明天也会发生。既然它不可阻挡，你就应该拥抱、理解它。目前对我来说，AGI是一个思维的伙伴。我很多问题都会跟他聊，它的知识特别全面，能从很广、很全的角度给我建议。我觉得这可能是人类拥抱AI的一种很好的形式。

与此同时，我们可以看到，今天的大模型离真正的AGI，还差一些特别关键的能力。比如逻辑推理和复杂任务规划的能力，如果你想要AI基于某一个目标，拆解步骤、实现目标，现在它还没有那么擅长。

张鹏：KK自己也是一名内容创作者，你觉得在AI时代，创作者不可被AI替代的最终价值会是什么？

凯文·凯利：我在写作时已经使用过人工智能和其他工具。我认为，没有人会因为人工智能而失去工作。因为我无法找到一个例子，证明有一个艺术家因为人工智能而失去了工作。这是一种想象中的恐惧，一种不存在的问题。就业可能是与人工智能相关的最不严重的问题。

我想说的是，消失的可能是你的工作描述，也就是你实际从事的工作内容可能会变化。一些人观察到，他们50%的工作都可以由人工智能来完成，而另外50%工作会被人工智能增强和放大。所以未来，可能有一半的工作不再需要人们去做，而人们又能把剩下的50%工作做得更好。这通常是我们会看到的模式。

当然，确实有一些特定类型的工作会消失，比如作为收银员去点餐和数钱。我们不希望人类去做这些工作，所以它们肯定会消失，它们也应该消失。

张鹏：你如何评价在AI时代，年轻人和老年人的竞争力？

凯文·凯利：老年人有很多优势，他们见多识广，经验丰富。年轻人也有很多优势，因为他们不知道什么是不可能的。我不认为谁的竞争力强于谁。

我想说的是，今天的年轻人常常谈论自己是数字原住民，对技术更有优势。但由于人工智能和其他事物发展迅速，年轻人昨天可能是原住民，明天就像“老年人”了。不管是年轻人还是老年人，大家都是新时代的“新手”，都必须一辈子不断地快速学习新事物。

张鹏：随着对AI技术的掌握不同，这是否会带来贫富差距的变化？也就是说，未来会使用AI的人是不是会获得更高的生产力、更好地赢得竞争？

凯文·凯利：是的，财富差距会扩大。我认为随着时间的推移，你与人工智能合作的能力，可能比你是否上大学还要重要。也许大学的目的将是教会你如何与人工智能合作。对于那些非常有野心的人来说，如果他们学习了如何使用人工智能，他们的薪水将会有很大的差别。

但是，随着人工智能在世界各地普及，未来我们会实现全球对人工智能的平等获取，就像对教育的平等获取一样。我认识一些在美国经营大公司的朋友，他们雇佣远程工作的员工，只要他们有能力，而背景并不重要。因此，很多在南美洲、非洲工作的人，会按照美国的薪酬标准得到报酬。他们会赚比原本更多的钱。

张鹏：技术的快速发展，可能会带来社会领域的不公平、不正义，我们该怎么在发展和公平正义之间取得平衡？

凯文·凯利：我认为我们可以在进步与公平之间取得平衡。实际上，我认为进步的很大一部分就是传播公平。

与几百年前相比，那时的世界非常不公平。你根据出生被视为奴隶、农奴或者农民，没有任何机会超越这个身份。但由于进步，我们现在拥有一个更加平等、公平的世界。我认为，科技的发展可以增加公平性，虽然不一定会实现，但是它是可能的。

李志飞：从一个工程师的角度来说，如果说你从终点去看公平，希望大家财富一样、能力水平一样，那这肯定会导致越来越不公平。但如果你是从起点去看公平，比如说让AI工具被所有人可用，这可能才会更好地实现公平。

张鹏：现在我们看到有些公司，比如文生图公司Midjourney，十几个人就创造了上亿美金的年收入。我们可否理解为，AI从根本上变革了生产力？未来的公司会不会因此越来越小和精简？

凯文·凯利：现在互联网和人工智能拥有的令人惊讶的力量，可以同时赋予个人、中等公司以及大公司权力。它使个人更容易拥有一家公司，因此我们会看到很多新公司只有AI加上几个人。但同时，我们也看到一些公司因为人工智能的存在而变得更大，甚至增加了百万人的规模。

因此，我们不会突然进入一个只有一两个人的公司的世界，那是不会发生的。同时，我们也不会只会让大公司受益。这就是AI的美妙之处，它可以让所有人都受益和获得权力。

李志飞：我觉得长尾效应跟马太效应都会越来越明显。

一方面，尾巴会越来越长，越来越多很小的公司会出现，它们会自己成为一个完整的体系。另一方面，当大公司有了很强的AI能力，它的组织力会变得更强。以前它只能组织1000人，但现在可以组织1万人、10万人、100万人。比如中国的外卖行业，正是依靠一整套的自动化系统，才把庞大的骑手群体组织起来。

张鹏：目前AI也是硅谷最热的话题，很多创业者都以大模型为核心去思考商业创新。KK对此有什么观察吗？

凯文·凯利：这让我想起了互联网早期的情景。互联网最开始出现时，突然之间每个企业都意识到必须将自己放在互联网上。而现在，每个企业都在利用AI的对话界面，通过引入大语言模型和人工智能来开展业务。一个例子是Wendy's（美国连锁餐饮企业），这家时髦的快餐汉堡店现在正在使用对话界面，让客人在车上点餐、和机器对话。

除此之外，还有一些全新的服务和想法尚未出现。我不知道具体数字，但我可以肯定的是，现在正有数千亿美元的资金流入这个领域。通常情况下，其中大部分可能不会成功，但有足够多的项目会成功。我们将在接下来的三年内看到一些非常惊人的事情，以及一些可能会变得非常大的全新公司。

张鹏：在过去的5000天里，KK做了非常多正确的预言，对很多大方向有了前瞻性的把握。最近，你又预言接下来5000天是人类历史上一个最关键的时间段。这个节点关键在哪？人类会通向十字路口的什么方向？

凯文·凯利：除了人工智能之外，世界上还发生了许多其他事情。我们面临气候变化的挑战，基因工程即将出现，很容易把人工智能想象成贬低人类的东西，很容易看到监控变得无处不在、而我们失去了掌控权。我们面对很多全球范围内的挑战和机遇。

这是一个狭小而紧迫的过渡期，我们必须度过这个难关。我认为，我们可以通过电气化、电动汽车、替代能源、以及在新冠疫苗研发方面取得的成功等，获得通过这个狭小门户的机会。目前，地球上还存在许多政治紧张局势和分歧，但我们需要集体行动，需要在技术、环境等领域达成共识，共同合作解决问题。

这是地球上首次出现全球文化、全球经济以及全球的环境影响。这也是在接下来的5000天里，我们成为更加全球化文明的机会。

李志飞：KK说，未来5000天，世界除了AI之外还有很多其他挑战。我觉得，仅从AI角度来说，未来365天也非常重要。AI经历过很多轮，每次都是人们对它期待值很高、但它不行了，接着人们又期待值很高、它又不行了。我觉得今天这一波AGI，到底会是圈内人认为很牛的东西、还是会成为社会上很重要的事情，这很大程度取决于未来365天。

包括大模型到底要怎么发展，是越大越好、还是要加入多模态、还是要加入解决方案等等？包括看渗透率，目前全世界可能不到5%的人用过ChatGPT，我们怎么把渗透率从5%提到20%？包括监管，人类应该怎么应对AI给社会带来的影响？还包括AI除了应用于互联网等行业，它该如何在医疗、汽车、金融等传统行业去落地？等等。

我觉得这可能需要至少一年的时间，通过人们做出各种各样的尝试，才能有一个更清晰的判断。