近日，ChatGPT之父Sam Altman在OpenAI 官网发布了他对AGI （通用人工智能）的看法和未来的计划。OpenAI再次强调，确保通用人工智能（AGI）造福于全人类，以及对短期和长期的目标做了明确的规划和方向。

在OpenAI看来，如果成功创造出AGI，它可以通过增加丰富度、推动全球经济发展以及帮助发现改变可能性极限的新科学知识来帮助我们提升人类水平。AGI有潜力赋予每个人不可思议的新能力，为人类的聪明才智和创造力提供巨大的力量倍增器。

然而，OpenAI也慎重提到，AGI也会带来严重的滥用、严重事故和社会混乱的风险。因此，OpenAI希望可以通过制定一些原则来确保 AGI 的好处最大化，并控制它的潜在巨大的风险。这些原则包括：（1）让AGI成为人类的放大器，促进人类最大程度地繁荣发展；（2）确保AGI的好处、访问权和治理得到广泛和公平的分享；（3）正确应对巨大风险，通过部署功能较弱的技术版本来不断学习和适应，以最大程度地减少“一次成功”的情况。通过这些原则，确保 AGI 的发展造福全人类。以下，Enjoy：

我们的使命是确保通用人工智能——通常比人类更聪明的人工智能系统——造福全人类。

如果 AGI 成功创建，这项技术可以通过增加丰富度、推动全球经济发展以及帮助发现改变可能性极限的新科学知识来帮助我们提升人类。

AGI 有潜力赋予每个人不可思议的新能力；我们可以想象这样一个世界，在这个世界中，我们所有人都可以获得几乎所有认知任务的帮助，为人类的聪明才智和创造力提供巨大的力量倍增器。

另一方面，AGI 也会带来严重的滥用、严重事故和社会混乱的风险。由于 AGI 的优势如此之大，我们不认为社会永远停止其发展是可能的或可取的；相反，社会和 AGI 的开发者必须想办法把它做好。[1]

虽然我们无法准确预测会发生什么，当然我们目前的进展可能会碰壁，但我们可以阐明我们最关心的原则：

我们希望 AGI 能够赋予人类在宇宙中最大程度地繁荣发展的能力。我们不期望未来是一个不合格的乌托邦，但我们希望将好的最大化，将坏的最小化，让 AGI 成为人类的放大器。

我们希望 AGI 的好处、访问权和治理得到广泛和公平的分享。

我们希望成功应对巨大风险。在面对这些风险时，我们承认理论上似乎正确的事情在实践中往往比预期的更奇怪。我们认为，我们必须通过部署功能较弱的技术版本来不断学习和适应，以最大程度地减少“一次成功”的情况。

短期来看

我们认为现在有几件事很重要，可以为 AGI 做准备。

首先，随着我们不断创建更强大的系统，我们希望部署它们并获得在现实世界中操作它们的经验。我们相信这是谨慎管理 AGI 存在的最佳方式——逐渐过渡到 AGI 世界比突然过渡要好。我们期望强大的 AI 能够加快世界的进步速度，我们认为最好是逐步适应这一点。

渐进的过渡让人们、政策制定者和机构有时间了解正在发生的事情，亲身体验这些系统的好处和缺点，调整我们的经济，并实施监管。它还允许社会和 AI 共同进化，并允许人们在风险相对较低的情况下共同弄清楚他们想要什么。

我们目前认为，成功应对 AI 部署挑战的最佳方法是采用快速学习和谨慎迭代的紧密反馈循环。社会将面临人工智能系统被允许做什么、如何消除偏见、如何处理工作岗位流失等重大问题。最佳决策将取决于技术所采用的路径，并且与任何新领域一样，到目前为止，大多数专家预测都是错误的。这使得在真空中进行规划非常困难。[2]

一般来说，我们认为在世界上更多地使用 AI 会带来好处，并希望推广它（通过将模型放入我们的 API 中，将它们开源等）。我们相信，民主化的访问也将导致更多更好的研究、分散的权力、更多的利益以及更多的人贡献新的想法。

随着我们的系统越来越接近 AGI，我们对模型的创建和部署变得越来越谨慎。我们的决定将需要比社会通常对新技术应用的谨慎得多，也比许多用户希望的谨慎得多。AI 领域的一些人认为 AGI（和后继系统）的风险是虚构的；如果结果证明他们是对的，我们会很高兴，但我们将把这些风险当作存在的方式来运作。

在某些时候，部署的利弊之间的平衡（例如授权恶意行为者、造成社会和经济破坏以及加速不安全的竞赛）可能会发生变化，在这种情况下，我们将围绕持续部署显著改变我们的计划。

其次，我们正在努力创建更加一致和可控的模型。我们从 GPT-3 的第一个版本等模型到InstructGPT和ChatGPT的转变就是一个早期的例子。

特别是，我们认为重要的是社会就如何使用人工智能达成极其广泛的界限，但在这些界限内，个人用户有很大的自由裁量权。我们最终的希望是世界机构就这些广泛的界限应该是什么达成一致；在短期内，我们计划对外部输入进行实验。世界上的机构将需要通过额外的能力和经验得到加强，以便为有关 AGI 的复杂决策做好准备。

我们产品的“默认设置”可能会受到很大限制，但我们计划让用户可以轻松更改他们正在使用的 AI 的行为。我们相信赋予个人做出自己的决定的权力和思想多样性的内在力量。

随着我们的模型变得更加强大，我们将需要开发新的对齐技术（并进行测试以了解我们当前的技术何时失败）。我们的短期计划是使用 AI 来帮助人类评估更复杂模型的输出并监控复杂系统，而从长远来看，使用 AI 来帮助我们提出新的想法以实现更好的对齐技术。

重要的是，我们认为我们经常需要在人工智能安全和能力方面共同取得进展。分开谈论它们是错误的二分法。它们在很多方面是相关的。我们最好的安全工作来自与我们最有能力的模型一起工作。也就是说，提高安全进步与能力进步的比率很重要。

第三，我们希望就三个关键问题展开全球对话：如何治理这些系统，如何公平分配它们产生的收益，以及如何公平共享访问权限。

除了这三个领域之外，我们还尝试以一种使我们的激励措施与良好结果相一致的方式来建立我们的结构。我们的章程中有一个条款关于协助其他组织提高安全性，而不是在后期 AGI 开发中与他们赛跑。我们对股东可以获得的回报设定了上限，这样我们就不会被激励去尝试无限制地获取价值，并冒着部署具有潜在灾难性危险的东西的风险（当然也是作为与社会分享利益的一种方式）。我们有一个非营利组织来管理我们，让我们为人类的利益而经营（并且可以凌驾于任何营利利益之上），包括让我们做一些事情，比如在安全需要的情况下取消我们对股东的股权义务，并赞助世界上最全面的UBI实验。

我们试图以一种使我们的激励措施与良好结果相一致的方式来建立我们的结构。

我们认为像我们这样的努力在发布新系统之前提交独立审计是很重要的；我们将在今年晚些时候更详细地讨论这个问题。在某些时候，在开始训练未来系统之前获得独立审查可能很重要，并且对于最先进的努力来说，同意限制用于创建新模型的计算增长率。我们认为关于 AGI 工作何时应停止训练运行、确定模型可以安全发布或从生产使用中撤出模型的公共标准很重要。最后，我们认为重要的是世界主要政府对超过一定规模的培训有洞察力。

长远来看

我们认为人类的未来应该由人类决定，与公众分享有关进步的信息很重要。应该对所有试图建立 AGI 的努力进行严格审查，并对重大决策进行公众咨询。

第一个 AGI 将只是智能连续体上的一个点。我们认为进展很可能会从那里继续，可能会在很长一段时间内保持我们在过去十年中看到的进展速度。如果这是真的，世界可能会变得与今天截然不同，风险可能会非常大。一个错位的超级智能 AGI 可能会对世界造成严重的伤害。

可以加速科学发展的人工智能是一个值得思考的特例，也许比其他任何事情都更有影响力。有足够能力加速自身进步的 AGI 可能会导致重大变化以惊人的速度发生（即使过渡开始缓慢，我们预计它在最后阶段也会很快发生）。我们认为较慢的起飞更容易确保安全，并且 AGI 努力在关键时刻减速可能很重要（即使在我们不需要这样做来解决技术对齐问题的世界中，减速可能是重要的是要给社会足够的时间来适应）。

成功过渡到一个拥有超级智能的世界可能是人类历史上最重要、最有希望、最可怕的项目。成功远未得到保证，利害关系（无限的下行和无限的上行）有望将我们所有人团结起来。

我们可以想象一个人类繁荣发展到我们任何人都无法完全想象的程度的世界。我们希望为世界贡献一个与这种繁荣相一致的通用人工智能。

注释

[1]相对于我们之前的预期，我们似乎得到了很多礼物：例如，似乎创建 AGI 将需要大量计算，因此世界将知道谁在从事它，这似乎是 hyper 的原始概念-进化的 RL 智能体相互竞争，并且以我们无法真正观察到的方式进化智能的可能性比最初看起来的要小，几乎没有人预测我们会在可以从中学习的预训练语言模型上取得如此大的进步，人类的集体偏好和输出等。

AGI 可能会在不久或遥远的将来发生；从最初的 AGI 到更强大的后继系统的起飞速度可能会很慢或很快。我们中的许多人认为这个二乘二矩阵中最安全的象限是时间短和起飞速度慢；较短的时间线似乎更易于协调，并且更有可能由于较少的计算过载而导致起飞速度变慢，而较慢的起飞速度使我们有更多时间根据经验找出如何解决安全问题以及如何适应。

[2]例如，当我们第一次启动 OpenAI 时，我们并没有预料到扩展会像事实证明的那样重要。当我们意识到这将是至关重要的时，我们也意识到我们原来的结构是行不通的——我们根本无法筹集到足够的资金来完成我们作为非营利组织的使命——所以我们想出了一个新的结构。

另一个例子，我们现在认为我们最初关于开放的想法是错误的，并且已经从认为我们应该发布所有东西（虽然我们开源了一些东西，并期望在未来开源更多令人兴奋的东西！）转向认为我们应该弄清楚如何安全地共享对系统的访问和好处。我们仍然相信社会了解正在发生的事情的好处是巨大的，并且实现这种理解是确保所构建的是社会集体想要的东西的最佳方式（显然这里有很多细微差别和冲突）。

原文：https://openai.com/blog/planning-for-agi-and-beyond/

也许你还想看: 

经纬2022年终盘点：乐观者前行，follow the white rabbit

经纬张颖：2023，不只克服困难而是习惯困难 

经纬张颖：给科研/技术背景出身创始人的9条建议

ChatGPT之父Sam Altman：大型AI企业，将诞生于哪些领域？

ChatGPT的前世今生，以及未来