张宏江对话 Sam Altman：AGI 或许 10 年后到来，但现在就要为迎接它做准备

在 Sam Altman 发布了主题演讲之后，智源人工智能研究院理事长、院士张宏江与其进行了 20 分钟的对话。张宏江代表观众、以及一线研究员、科学家问了很多不同角度的问题。

围绕 AI 对齐和安全这一复杂议题，Altman 表示，需要考虑非技术因素，但关键是需要一个安全的技术方案作为解法；Altman 也分享了迄今为止在世界环游中的收获，并强调对于 AI 安全而言，建立统一公平的框架和测试标准，让每个达到一定能力的 AI 模型都接受测试十分重要；回应人们对 Open AI 本身的好奇，Altman 表示虽然他们在计划 GPT-5，但是不知何时会到来。

至于驱动 Open AI 诞生和取得突破的因素，Altman 将其归于「使命感」——这会促使人拥有源源不断的精力，想各种办法应对挑战。这与上周在以色列一所大学的交流中，首席科学家 Ilya 所表达的「你对这个信仰越多，你就能取得越大的进展」不谋而合。

以下是经极客公园编辑的对谈实录：

张宏江：嘿，Sam，很高兴再次见到你。虽然这次是在 Zoom 会议上。你上次来这里好像是六年前，在一个会议上（Sam：2018 年）。我们准备了大量的问题。但我们先从一个接近你演讲主题的问题开始：你在一开始就提到了 AGI 的承诺。我们离 AGI 还有多远？包括安全的 AGI 和潜在不安全的 AGI。

Sam ：很难预测准确的时间。但我认为很有可能在未来 10 年，我们会有非常强大的 AI 系统。在这样的世界里，解决好 AI 的安全问题是非常重要和紧迫的。这就是为什么我呼吁国际社会现在就要在这方面一起努力。

历史无疑为我们提供了许多新技术从根本上改变世界的例子，其速度比许多人想象的要快。而我们现在看到的加速，以及这些系统的影响，在某种意义上，是前所未有的。因此，为它很快发生做好准备，并在考虑到利害关系和规模的情况下，正确处理安全问题，似乎相当重要。

张宏江：所以你确实有一种紧迫感，你还提到了也许十年后，AGI 会有一个突破。

Sam：是的。我想强调的是，我们并不真正知道（AGI 什么时候来）。而且对 AGI 的定义也是不同的。我认为在 10 年内，我们应该准备好迎接一个具有非常强大系统的世界。

张宏江：你在演讲中，也提到过几次全球合作。我们知道，在过去的六、七十年里，世界面临过许多次危机，很多人设法建立共识，建立全球合作。你现在也在全球旅行，你正在试图推动的全球合作具体什么样的？你对迄今为止得到的回应有何感想？

Sam：我对目前为止的反应非常满意。我认为人们在非常认真地对待 AGI 的风险和机会。过去六个月里，相关讨论有了很大的进展。人们似乎真的致力于找出一个结构，使我们能够享受这些好处，同时在全球范围内共同努力，以减少风险。我认为我们在这方面处于非常有利的地位，全球合作总是困难的，但我认为 AGI 就是那种能够将世界聚集在一起的威胁和机遇，我们可以共同为这些系统提出一个框架和安全标准，这将是相当有帮助的。

张宏江：当我们处理这个潜在风险时，有哪些我们曾经成功处理过的大挑战，可以作为参考的例子吗？

Sam：我们已经在全球范围根除了一些非常严重的疾病。这需要大量的合作。我们已经处理了会导致问题的化学品，例如在臭氧层的问题上。有许多例子表明，我们（可以）一起处理一件事。

张宏江：你提到先进的 AI 系统的对齐问题，这是一个还没有被解决的问题。我也注意到，虽然在过去几年中付出了很多努力，你也提到 GPT-4 是迄今为止在对齐方面最优秀的示例。你认为我们可以简单地通过对齐来解决 AI 安全问题，还是 AI 安全问题比对齐问题要大得多？

Sam：我认为对齐这个词有不同的使用方式。我们需要解决整个挑战，即如何才能达到安全的 AI 系统。传统意义上的对齐，即让模型的行为符合其用户的意图，当然是其中的一部分。还会有其他问题，比如我们如何验证系统正在做我们希望它们做的事情，以及我们让系统与谁的价值观保持一致。但我认为，重要的是要看清全景，为实现 AGI 我们需要做些什么。

张宏江：从技术视角来看，GPT-4 在很大程度上已经做了很多事情，但是对齐问题（仍然还有许多需解决）还有许多其他因素，不仅仅是技术。这确实是一个复杂的问题，复杂问题的解决通常需要系统级别的解决方案，AI 可能也不例外。因此，除了技术方面，你认为还有哪些因素，对于 AI 安全非常关键？我们应该如何解决这些挑战？作为科学家，我们应该做什么？

Sam：这当然是一个非常复杂的问题。我想说的是，如果没有一个技术上的解决方案，任何方面的事情都将非常困难。因此，我认为关注的重心应该放在以安全的方式解决技术问题。这是相当重要的。而正如我前面所说的，弄清楚价值观与什么相一致，不是一个技术问题。解决这个问题需要技术见解辅助，但这本身值得全社会深入讨论。

我们将不得不设计出公平、有代表性和包容性的系统。还有，正如你所指出的，我们需要考虑的不仅仅是 AI 模型本身的安全，而是整个系统的安全。因此，可以在 AI 系统之上附加安全分类器和检测器，监测使用是否符合准则，这很重要。还有，我认为很难提前预测任何技术可能会犯的所有错误。因此，从现实世界的使用中学习，反复部署，看看当你真正接触现实并改进它时，会发生什么，给人们和社会时间来学习和更新，思考这些模型将如何与他们的生活发生好或坏的互动。这一点非常重要。

张宏江：关于 GPT-4 和 AI 安全，你认为我们是否有可能需要改变目前 AI 的整个基础架构或模型，使其更安全，更容易被检查？你有什么想法吗？

Sam：我认为确实很有可能需要一些非常不同的架构，无论是从 AI 能力角度还是从安全角度。在目前的模型中，我们可以在可解释性方面取得一些良好的进展，可以让模型向我们更好地解释在做什么和为什么这么做。但是如果 AI 未来在 Transformers 模型之外取得了大的飞跃性突破的话，我不会感到惊讶。实际上，我们也已经改变了非常多最初的 Transformers 的架构。

张宏江：关于全球合作，你一直在做巡回演讲。中国、美国、欧洲，这三个基本群体是 AI 创新和 AGI 背后的驱动力。那么在你看来，不同的国家在合作解决 AGI 问题上有什么优势？为了解决人工智能的安全问题，如何将这些优势联合起来？

Sam：我认为一般来说，需要有关于 AI 安全的不同观点。我们还没有得到所有的答案。而这件事非常重要，也很难解决，正如之前所提到的，它不纯粹是一个技术问题。使 AI 安全和有益，涉及了解不同国家、在非常不同背景下的用户偏好。因此，我们需要很多不同的投入来实现这一目标。

中国有一些世界上最好的人工智能人才。从根本上说，我认为，鉴于解决先进的人工智能系统的对齐问题难度极高，我们需要来自世界各地的最好的头脑。因此，我真的希望中国的 AI 研究人员做出巨大贡献。

张宏江：你提到了中国，你已经访问了相当多的国家，能否分享你在合作者方面取得的一些成果，以及你在这次世界旅行中，与各政府、各机构的互动中，有什么计划或下一步的想法？

Sam：我认为让人兴奋的一个很大发展是聚在一起制定国际标准，这些标准关于如何安全地开发先进的 AI 系统。关于非常强大的模型训练后，被部署之前，我们要如何思考测试应该是什么；关于建立一套反映全球价值观和偏好的数据库，让人们可以用此来调整他们的系统，我们也有很好的对话；以及我们建立怎样的形式，来分享 AI 安全研究。这就是到目前为止出现的三种最具体的事情。

张宏江：我们一直在讨论，其实如果世界上只有三个模型，可能会更安全。这就像我们对核的控制，我们不希望出现核扩散，所以我们签署了核不扩散条约，希望控制可以获得这种技术的国家的数量。那么，你认为这是不是我们应该发展的方向，即控制模型的数量？

Sam：模型更少更安全还是更多更安全，目前有不同的观点。我认为更重要的是，我们是否有一个正确的框架，一个系统，使得任何强大的模型都需要通过足够的安全测试？我们是否有一个框架，使得任何正在创建一个足够强大的模型的人都能有足够的资源，也被规定需要确保他们创造的东西是安全的、与人类价值观对齐？

张宏江：昨天参会的 MIT 人工智能与基础交互研究中心教授 Max Tegmark 提到，他认为这个过程可以类比于高速站的卡口，或者是新药研发的流程。我们设计一个新药，肯定不能马上把它推出上市，一定需要很长的检测流程。你认为这是一个我们可借鉴的流程吗？

Sam：我非常认同。我认为在将一项新技术推向市场时，各行业都已经开发了许多不同的许可和测试框架，我们应该尽可能地借鉴。从根本上说，历史上我们已经有了能够发挥作用的很好的方法。

极客一问