AI的未来将何去何从？OpenAI CEO首次在中国演讲来帮你解答

山姆·阿尔特曼（Sam Altman）是近期世界级热门科技人物。他是人工智能公司OpenAI的CEO与联合创始人，去年11月，OpenAI推出聊天机器人ChatGPT，五天后用户总数突破百万，两个月后破亿，引发全世界的AI新浪潮，目前公司最新估值接近300亿美元。

最近，阿尔特曼正在全球访问，已到访五大洲20多个国家，与当地用户、开发者、学生、政府交流，谈论AI与AI监管、安全问题。

6月10日上午，阿尔特曼在北京智源大会再谈AI安全。这是自ChatGPT发布以来，阿尔特曼首次在中国演讲。

ChatGPT让公众直观领受到AI的力量。它展现出强大的翻译、理解、推理能力，在多项考试中超过人类平均水平，在带来AGI（通用人工智能，像人一样思考、从事多种用途的人工智能）曙光的同时，也带来AI导致失业、虚假信息，甚至取代人类等问题的担忧。

阿尔特曼多次公开谈论AI安全问题。今年2月，他在一篇文章中称AGI有潜力赋能人类，也有招致社会混乱的风险，而OpenAI的使命是确保AGI造福全人类。

3月底，包括特斯拉CEO马斯克（Elon Musk）、苹果公司联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）、AI独角兽Stability CEO埃玛德·莫斯塔克（Emad Mostaque）等在内的科技领袖签署联名信，称AI技术“可能对社会造成灾难性影响”，呼吁各方立即暂停训练比GPT-4更强大的AI系统至少6个月，期间共同开发一套安全协议；若无法暂停，政府应当介入。

阿尔特曼未参与此次签名，称该信提出的方法并非最佳，缺少“我们需要暂停的技术细节”，但他承认谨慎行事、严格面对安全问题非常重要。

两个月后，他在另一封仅有22个单词的公开信上签名：“降低AI（给人类）带来灭绝的风险，应该与流行病、核战争等其他社会规模的风险一起，成为全球优先事项”。在5月中旬的参议院听证会上，阿尔特曼也敦促政府与立法机构对人工智能进行规范与监管。

在6月10日的发言中，他倡议全球各界就AI安全问题进行协作，建立互信关系与国际通行的AI安全规范，并推进AI对齐（alignment，即引导AI系统的行为，使其符合设计者的利益和预期目标）研究。

与马斯克们不同，阿尔特曼并不赞同人类应该为了避免AI的危害，而停止AI研究。相反，他提出，可以尝试使用AI系统辅助人类，监督其他AI系统，OpenAI正在进行相关的研究。而这一路径的好处是，随着AI技术的发展，监督AI的技术也在同步发展。

演讲后的问答环节，围绕AI安全以及OpenAI战略展开，提问者为智源研究院理事长张宏江。阿尔特曼认为，未来十年内，全球很可能拥有一个非常强大的AI系统，届时人类会面临很多安全问题，因此，要从现在开始准备。他透露，OpenAI近期不会研发GPT-5，并称中国有很多优秀的人才，他期待中国AI研究者们能为AI安全作出贡献。

今天，我想谈谈未来。具体来说，就是AI系统的巨大发展，以及我们需要做些什么，来为AI部署到世界做好准备。

科学史告诉我们，技术进步遵循指数曲线。我们已经在农业、工业和计算革命中见证这一点。而AI带来的影响，不仅在于规模，还在于其进展的速度。它正在以极快的速度拓展人类的想象力。

想象一下未来十年，AGI最终创造的生产力体量可能超过目前最大的公司。这场AI革命，将创造共享的繁荣，并减轻每个人的生活负担。但我们必须共同管理这个过程，才能实现这个目标。

现在，我时常感激大国们。它们求同存异，即使在历史上最困难的时刻，也找到了合作的方式。过往合作的重点多为医疗和科学领域，比如消灭小儿麻痹症和天花等疾病，以及减少气候变化。

随着愈发强大的AI系统出现，全球合作的利害关系变得前所未有的重要。如果我们不够谨慎，没有建立起一个对齐的机制，AI可能会提出不靠谱的建议，进而破坏整个医疗系统。类似地，旨在优化农业实践的AI系统，如果缺乏对长期可持续性的考量，可能反而导致自然资源的耗尽、生态系统的破坏，从而影响粮食生产和环境平衡。

我希望大家都能认同，推进AGI安全是我们共同的立场。接下来，我想重点谈谈，我们可以从哪里着手。

第一个领域是AGI治理。AGI拥有彻底改造文明的能力，因此，有意义的国际合作非常必要。如果能实现治理上的合作，并以安全、负责的方式引导这个过程，AGI系统可以为全球经济作出无与伦比的贡献，帮助解决气候变化、卫生安全等共同挑战，每个人都可以从中获益。

我深信，这会在未来实现。作为地球上的一员，我们需要投资于AGI安全，以实现并享受这个未来。而这需要谨慎的协调。这是一项全球性的技术，轻率发展带来的事故，将影响所有人。

国际合作中，有两个关键领域最为重要。

首先，我们需要建立国际规范和标准，并注重过程的包容性。我们要为所有国家建立相同的使用AGI的防护措施；在这些措施范围内，人们也有足够的机会做出自己的选择。

其次，要建立起全球的互信，以可验证的方式，安全地建立日益强大的AI系统。我知道这并不容易。我们需要为此付出大量而持续的关注。道教说：千里之行，始于足下。我认为，最有建设性的第一步，是国际科学界、技术界展开合作。

我们应该在AGI安全领域，推动建立增加透明度和知识共享的机制。发现紧急情况的研究人员应该为了人类的利益，分享他们的发现。我们需要仔细考虑，如何在尊重和保护知识产权的同时鼓励这种做法。

更广泛地说，我们应该推动、引导AI对齐和安全研究。在OpenAI，我们为了将AI系统打造成有帮助的、安全的系统，做了技术方面的对齐研究。比如，我们会调整ChatGPT，使其不会发出暴力威胁，或帮助用户进行有害活动。

但随着我们接近AGI，任何对齐问题的潜在影响和重要性都将成倍增长。现在解决这些问题，未来灾难性结果的风险就会降到最低。

对于当前的系统，我们主要利用来自人类反馈的强化学习（RLHF）进行训练，以保证它们有益、安全。这只是多种对齐技术中的一个例子，我们也在研发新的技术方法。

GPT-4完成预训练后8个月，我们都在进行对齐、解决安全问题，然后才部署。GPT-4的对齐程度，比我们之前的模型更高。

然而，对于更高级的AI系统来说，对齐仍然是一个未解决的问题。这需要新的技术方法，以及政府更多的监督。想想未来的AGI系统，可能包含10万行的二进制代码，人类监督者很难判断，它是否在进行不当行为。

我们已经确定了一些新的研究方向，希望能够取得突破。

首先是可扩展的监督。我们可以尝试利用AI系统辅助人类，监督其他AI系统。例如，我们可以训练一个模型，来帮助人类监督员发现其他模型输出内容的缺陷。

其次是可解释性。我们需要更好地理解，模型内部发生了什么。

我们最近发表了一篇论文，使用GPT-4来解释GPT-2中的神经元。还有很长的路要走，先进的机器学习技术可以进一步提高我们解释模型的能力。

最终，我们的目标是训练AI系统，来辅助对齐研究。这种方法的优势在于，它能跟随AI技术同步发展。未来，模型会变得更加智能、更加有用，也能更好地辅助我们找到更好的对齐技术。

实现AGI的好处，并减轻其风险，是我们这个时代的重要挑战之一。我看到了美国、中国以及世界各地的研究人员的巨大潜力，如果合作能够实现，我相信我们能利用AGI解决世界上最重要的问题，并显著提高人类的生活质量。

以下为对话实录：

智源研究院理事长张宏江提问：我们距离通用人工智能（AGI）还有多远？风险是不是很紧迫，还是我们离它还很遥远？

Sam Altman：这很难评估具体时间。很可能未来十年我们会有非常强大的AI系统，新技术从根本上改变世界的速度比我们想象的快。在那样的世界里，我认为把这件事（AI安全规则）做好是重要且紧迫的，这就是为什么我呼吁国际社会共同努力的原因。

从某种意义上说，我们现在看到的新技术的加速和系统的影响是前所未有的。所以我认为要为即将发生的事情做好准备，并了解有关安全的问题。考虑到AI规模庞大，这其中的利害关系相当重要。

中国、美国和其他国家以及欧洲这三个主要集团是人工智能创新背后的驱动力，在你看来，在AGI安全这个领域中，不同国家分别又有什么优势来解决这一问题，特别是解决人工智能安全问题。如何将这些优势结合到一起？

张宏江：您刚才在前期的介绍中也提到了几次，正在进行全球合作。我们知道，在过去世界面临着相当多的危机。不知何故，对他们中的许多人来说，我们设法建立了共识，建立全球合作。你也在进行一次全球巡演，你正在努力推动怎样的全球合作？

Sam Altman：是的，我对到目前为止大家的反应和回答都非常满意。我认为人们非常认真地对待AGI的风险和机遇。

我认为在过去的6个月里，对于安全的讨论已经取得了相当大的进展。人们似乎真的致力于找出一种结构，让我们能够享受这些好处，同时在全球范围内共同努力降低风险。我认为我们非常适合做这件事。全球合作总是困难的，但我认为这是一种将世界团结在一起的机会和威胁。我们可以为这些系统提出一个框架和安全标准，这将非常有帮助。

张宏江：你提到先进人工智能的对齐是一个尚未解决的问题。我还注意到OpenAI在过去的几年里付出了很多努力。你提到GPT-4是迄今为止在对齐领域最好的例子。你认为我们可以仅仅通过微调(API)来解决AGI的安全问题吗？或者比这个问题的解决方式要困难得多？

Sam Altman：我认为对齐这个词有不同的理解方式。我认为我们需要解决的是整个人工智能系统中的挑战，传统意义上的对齐——让模型的行为符合用户的意图，当然是其中的一部分。

但还会有其他问题，比如我们如何验证系统正在做什么，我们希望它们做什么，以及我们如何调整系统的价值。最重要的是要看到AGI安全的整体情况。

如果没有技术解决方案，其他一切都很难。我认为集中精力确保我们解决安全方面的技术问题是非常重要的。正如我所提到的，弄清楚我们的价值观是什么，这不是一个技术问题。尽管它需要技术投入，但这是一个值得全社会深入讨论的问题。我们必须设计公平、具有代表性和包容性的系统。

张宏江：针对对齐，我们那看到GPT-4所做的，仍然是从技术的角度出发的解决方案。但除了技术之外，还有许多其他因素，且往往是系统性的。人工智能安全在这里可能也不例外。除了技术方面，还有哪些因素和问题？你认为对人工智能安全至关重要吗？我们应该如何应对这些挑战？尤其是我们大多数人都是科学家。我们应该做什么。

Sam Altman：这无疑是一个非常复杂的问题。但如果没有技术解决方案，其他一切都很难解决。我认为集中精力确保我们解决安全方面的技术问题是非常重要的。正如我所提到的，弄清楚我们的价值观是什么，这不是一个技术问题。它需要技术投入，但这同时也是一个值得全社会深入讨论的问题。我们必须设计公平、具有代表性和包容性的系统。

而且，正如你所指出的，我们需要考虑的不仅仅是人工智能模型拉动本身的安全性，而是整个系统。

因此，可以构建在系统上运行的安全分类器和检测器很重要，它们可以监控AI是否符合使用策略。我认为很难提前预测任何技术会出现的所有问题。因此，从现实世界的使用中学习，并反复部署，看看当你真正创造现实并改进它时会发生什么。

让人类和社会有时间学习和更新，并思考这些模型将如何以好的和坏的方式与他们的生活互动，这也很重要。

张宏江：早些时候，你提到了全球合作。你一直在环游世界，中国、美国和以及欧洲等各国都是人工智能创新背后的驱动力，在你看来，在AGI中，不同国家分别有哪些优势来解决AGI问题，特别是解决人安全问题。如何将这些优势结合到一起？

Sam Altman：我认为通常需要很多不同的视角和人工智能安全。我们还没有得到所有的答案，这是一个相当困难和重要的问题。

此外，正如所提到的，这不是一个纯粹的技术问题，使人工智能安全和有益的。涉及在非常不同的背景下了解不同国家的用户偏好。我们需要很多不同的投入才能实现这一目标。中国拥有一些世界上最优秀的人工智能人才。从根本上说，我认为，考虑到解决高级人工智能系统对齐的困难，需要来自世界各地的最好的头脑。所以我真的希望中国的人工智能研究人员在这里做出巨大的贡献。

张宏江：关于GPT-4和AI安全的后续问题。我们是否有可能需要更改AGI模型的整个基础架构或整个体系结构。为了让它更安全，更容易被检查。

Sam Altman：无论是从功能角度还是从安全角度来看，我们确实需要一些非常不同的架构，这是完全可能的。

我认为我们将能够取得一些进展，在解释我们目前各种模型的能力方面取得良好进展，并让他们更好地向我们解释他们在做什么以及为什么。但是，是的，如果在Transformer之后有另一个巨大的飞跃，我不会感到惊讶。自从最初的Transformer以来，我们已经改变了很多架构。

张宏江：我明白今天的论坛是关注AI安全的，因为人们对OpenAI很好奇，所以我有很多关于OpenAI的问题，不仅仅是AI安全。我这里有一个观众的问题是，OpenAI有没有计划重新开源它的模型，就像在3.0版本之前那样？我也认为开源有利于AI安全。

Sam Altman：我们有些模型是开源的，有些不是，但随着时间的推移，我认为你应该期待我们将来会继续开源更多的模型。我没有一个具体的模型或时间表，但这是我们目前正在讨论的事情。

张宏江：BAAI将所有的努力都变成开源，包括模型和算法本身。我们相信，我们有这种需要，分享和给予，你一个他们在控制感知。请问你有类似的观念吗，或者在你的同龄人或OpenAI的同事中讨论过这些话题。

Sam Altman：是的，我认为开源在某种程度上确实有一个重要的作用。

最近也有很多新的开源模型出现。我认为API模型也有一个重要的作用。它为我们提供了额外的安全控制。你可以阻止某些用途。你可以阻止某些类型的微调。如果某件事情不起作用，你可以收回它。在当前模型的规模下，我不太担心这个问题。但是随着模型变得像我们期望的那样强大，如果我们对此是正确的，我认为开源一切可能不是最佳路径，尽管有时候它是正确的。我认为我们只需要仔细地平衡一下。

我们未来会有更多开源大模型，但没有具体模型和时间表。

张宏江：作为一个研究人员，我也很好奇，下一步的AGI研究方向是什么？在大模型、大语言模型方面，我们会不会很快看到GPT-5？下一个前沿是不是在具身模型上？自主机器人是不是OpenAI正在或者准备探索的领域？

Sam Altman：我也很好奇下一步会发生什么，我最喜欢做这项工作的原因之一就是在研究的前沿，有很多令人兴奋和惊讶的事情。我们还没有答案，所以我们在探索很多可能的新范式。当然，在某个时候，我们会尝试做一个GPT-5模型，但不会是很快。我们不知道具体什么时候。我们在OpenAI刚开始的时候就做过机器人方面的工作，我们对此非常感兴趣，但也遇到了一些困难。我希望有一天我们能够回到这个领域。

张宏江：听起来很棒。你在演讲中也提到了你们是如何用GPT-4来解释GPT-2的工作原理，从而使模型更安全的例子。这种方法是可扩展的吗？这种方向是不是OpenAI未来会继续推进的？

Sam Altman：我们会继续推进这个方向。

张宏江：那你认为这种方法可以应用到生物神经元上吗？因为我问这个问题的原因是，有一些生物学家和神经科学家，他们想借鉴这个方法，在他们的领域里研究和探索人类神经元是如何工作的。

Sam Altman：在人工神经元上观察发生了什么比在生物神经元上容易得多。所以我认为这种方法对于人工神经网络是有效的。我认为使用更强大的模型来帮助我们理解其他模型的方法是可行的。但我不太确定你怎么把这个方法应用到人类大脑上。

张宏江：好的，谢谢你。既然我们谈到了AI安全和AGI控制，那么我们一直在讨论的一个问题是，如果这个世界上只有三个模型，那么会不会更安全？这就像核控制一样，你不想让核武器扩散。我们有这样的条约，我们试图控制能够获得这项技术的国家数量。那么控制模型数量是不是一个可行的方向？

Sam Altman：我认为对于世界上有少数模型还是多数模型更安全，有不同的观点。我认为更重要的是，我们是否有一个系统，能够让任何一个强大的模型都经过充分的安全测试？我们是否有一个框架，能够让任何一个创造出足够强大的模型的人，既有资源，也有责任，来确保他们创造出的东西是安全和对齐的？

张宏江：昨天在这个会议上，MIT未来生命研究所的Max教授提到了一种可能的方法，就是类似于我们控制药物开发的方式。科学家或者公司开发出新药，你不能直接上市。你必须经过这样的测试过程。这是不是我们可以借鉴的？

Sam Altman：我绝对认为，我们可以从不同行业发展出来的许可和测试框架中借鉴很多东西。但我认为从根本上说，我们已经有了一些可以奏效的方法。

张宏江：非常感谢你，Sam。谢谢你抽时间来参加这次会议，虽然是线上的。我相信还有很多问题，但考虑到时间，我们不得不到此为止。希望下次你有机会来中国，来北京，我们可以有更深入的讨论。非常感谢你。