GPT-5停不停？Bengio痛心跳出呼吁，LeCun怒斥AI末日论者

---

  新智元报道  

「人们对AI风险过度担忧的唯一原因，就是这个神话：当你打开一个超级智能系统的那一刻，人类就注定要灭亡。这是荒谬的愚蠢，基于对AI运作方式彻底的误解。」

另外，签署公开信的图灵三巨头之一Yoshua Bengio在沉默几天后，首次解释了自己加入FLI呼吁的看法：

一年前我可能不会签署这样一封信。正是因为人工智能发展出现了意想不到的加速，因此我们需要退一步。并且我对这些问题的看法已经改变了。

就此，Bengio在自己的网站上发表了一篇长文，具体解释了签署公开信的原因——技术进步需要放缓，这样才能确保安全、保护集体的福祉。

Bengio认为我们已经越过了一个关键的门槛：机器现在可以和我们对话，甚至假装成人类。

而且，自从ChatGPT发布以来，大家发现不那么谨慎守规矩的玩家会有竞争优势，如果是这样的话，那么通过降低谨慎和道德监督的水平，就可以更容易出头。

面对更加激烈的商业竞争，OpenAI也可能会急于开发这些巨大的人工智能系统，把他们在过去十年的人工智能研究中养成的透明和开放科学的良好习惯抛在脑后。

Bengio表示，签署这封公开信可以提醒学界和工业界：我们必须花时间更好地了解这些系统，并在国家和国际层面制定必要的框架，来增加对公众的保护。

即使签署这封公开信造成的影响可能没有那么大，但是起码会掀起一场全社会的讨论。我们将不得不在未来几年做出集体选择，包括我们想用我们正在开发的强大工具做什么。

从中短期风险来看，可能是出于政治目的操纵公众舆论，特别是传播虚假信息，这很容易预测；而长期风险就是偏离程序员所设定的目标，对人类造成伤害，这种风险很难预测。

但是这封公开信并不是要叫停所有的AI研究，也并不是说GPT-4将成为自主的AI并威胁到人类。相反，危险的是怀有不良意图的人类或根本不知道其行为后果的人类，在未来几年内可能利用这些工具危及人类的未来。

现在，我们需要规范这些系统，提高人工智能系统的透明度和监督，保护社会。风险和不确定性已经如此严重，因此我们的治理机制也要加速发展。

社会需要时间来适应变化，法律需要时间来通过，监管框架需要时间来落实。Bengio认为迅速提高意识，把这个问题放在更多的场合去进行更多的公众辩论是很重要的。

不过，从根本上来说，Bengio对技术是乐观的，他认为技术将能够帮助我们克服人类面临的巨大挑战。然而，为了面对这些挑战，现在需要的是去思考如何调整我们的社会，甚至完全重塑它们。

「我们应该放弃吗？当然不是。减少对未来的损害，我们总是有办法做得更好，在正确的方向上的每一步，都会有所裨益。」

对此，纽约大学马库斯也表示了支持，尽管两人之前有些意见相左。

另一边，作为公开信支持者的马斯克表示，你们这些反对暂停的人就属于下面这种人：

「另一条路太绕，会减慢AI的发展，不如还是直接碾过去吧。」

而有网友指出了「华点」—— 「如果你没有将强大的AI装到每一辆特斯拉中，我会更相信你的担忧。」

「为什么过度监管某些AI模型，而不是实际的应用程序呢？语言模型无法说出或选择它们『想要』的内容，就像特斯拉的FSD系统不能自己决定开到哪里。」

LeCun转发了该网友的推文，表示同意：「没错，应该去规范应用，而不是研发。」

眼看AI安全已经成为众矢之的，OpenAI急忙出面，表示自己也很重视AI安全。

在昨天发布的「Our approach to AI safety」的长文中，OpenAI主要探讨了安全地构建、部署和使用人工智能系统的方法。

OpenAI表示，强大的人工智能系统应该接受严格的安全评估。

GPT-4在发布之前，对其进行了严格的测试，内部员工耗时6个月去确保发布前让模型更加安全和一致。

并且，还让外部专家参与反馈，利用人类反馈强化学习（RLHF）等技术改善模型的行为。

另外，文中还列出了其他确保AI安全的方法：

我们认为，解决人工智能安全问题的实用方法是投入更多的时间和资源来研究有效的缓解措施和调整技术，并针对现实世界的滥用进行测试。

根据一项调查，69%的美国成年人强烈支持或在一定程度上支持暂停开发六个月，但也有人认为这似乎只是徒劳。

而关心AI会毁灭人类这个话题的人，和不关心的人，大约各占一半。