为什么马斯克、图灵奖得主等千名从业者联名叫停大型AI研究？

撰文| 张天祁 李珊珊

 ●                  　●                   　●

3月28日，GPT-4发布两周后，一封埃隆·马斯克（Elon Musk）以及上千名科技界人士签署的公开信在网上发布。这封公开信呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练至少6个月。

苹果联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）、图灵奖得主约书亚·本吉奥（Yoshua Bengio）、AI领域教科书《人工智能：现代方法》的合著者斯图尔特·罗素（Stuart Russell）等著名科技人士均在这封公开信上署名。

这封公开信声称，“高级AI可能意味着地球生命史上的深刻变革，我们应当投入相称的关注和资源对其进行规划和管理”，但现在人工智能已经陷入失控的竞赛，开发者也无法理解、预测及可靠地控制。

这封公开信还提到，当代人工智能系统现在在一般任务上变得与人类具有竞争力，“只有当我们确信强大的人工智能系统的效果是积极的，其风险是可控的，才应该开发。”

按照公开信的设想，应该暂停比 GPT-4 更强大的 AI 系统6个月训练。在这段暂停期间，人工智能实验室和独立专家应该共同开发和实施一套用于高级人工智能设计和开发的共享安全协议，并由独立的外部专家进行严格审计和监督。

这些协议应确保它们的系统是安全的，并且无可置疑。这并不意味着总体上暂停AI开发，只是从向更大的、不可预测的黑盒模型的危险竞赛中退后一步。

这封信发布在未来生命研究所 (Future of Life Institute) 网站上，那家研究所主要由马斯克基金会、有效利他主义组织 Founders Pledge和硅谷社区基金会资助，机构的使命是引导变革性技术远离极端、大规模的风险，转向造福生活。

早在2017年，未来生命研究所便曾在加州召集了100 多位经济学、法律、伦理学和哲学领域的思想领袖和研究人员齐聚一堂，讨论和制定有益人工智能的原则。最终他们制定了23条阿西洛马人工智能原则，被视为人工智能治理的重要原则。其中第一条是“ 人工智能研究的目标应该建立有益的智能，而不是无秩序的的智能。”

对本次在公开信上署名的那些科技工作者来说，大部分人的担忧在于：AI发展的太快了，相关的监管和法律没有跟上，甚至连发明者也缺乏有效的控制手段。这种条件下，无限制地使用AI，如果出现问题，很可能就会带来系统性的风险。

根据《时代周刊》报道，公开信的签署人、人工智能安全初创公司 SaferAI 的首席执行官西蒙·坎波斯表示，AI系统的发明者不确切知道它们是如何工作的，也不知道它们是什么，因此无法管理系统的风险。发明者有能力做到，但不知道如何限制AI的行为。

“我们现在在做什么？” 坎波斯说。“我们正在全速将这些系统扩展到前所未有的能力水平，并对社会产生变革性影响。我们必须放慢这些系统的开发速度，让社会适应。”

马斯克的担心：关不掉的AI

停下来，“我们对齐一下”

这些大佬们的担忧之外，在更广泛的民众中，对于AI的恐惧则由来已久。

这其中，有对科幻电影《太空漫游2001》中那种获得了意识的超智慧电脑HAL 9000的恐惧，也有更实际的，对于AI控制世界可能会造成的混乱和糟糕局面的恐惧。

在那封公开信中，多次被引用的一份资料是被包括微软高管在内的多位人工智能领域大佬盛赞的畅销书《对齐问题》（Alignment Problem）。发布那封公开信的未来生命研究所（FLI）一位联合联合创始人便曾公开称赞那本书：“充满了令人惊艳的发现，意想不到的障碍、巧妙的解决方案，以及越来越多关于我们这个物种本质的难题”。而那本书中所讨论的最大的难题便是：人工智能伦理。

一个最简单的人工智能伦理问题是曲别针问题，如果命令一个机器人去造尽可能多的曲别针，只要可能，它就会穷尽地球上所有的资源，不知疲倦地去制造曲别针，因为完成这个任务与它的道德规范没有什么冲突，那么它能做的就只能是执行任务。人类在漫长的历史中，大量固化在我们文化中，深植于每一个人的头脑中的道德规范，我们的敬与畏，有时我们自己都尚未察觉，而一个机器，并没有经历过这样漫长的进化，如同一个生下来就有超能力的孩童，它们自己就变成了风险。

因而，《对齐问题》一书的作者，现在正在加州大学伯克利分校做访问学者的畅销书作家布莱恩（Brian Christian）认为，需要细致、全面以及实时地让AI的道德规范与人类的道德规范进行对齐。从这个意义上，这封公开信，便如同大厂的某个部门，要求员工停止手中的工作，都到会议室去，“我们对齐一下”。

当然，《对齐问题》除了讨论这些看起来比较遥远的问题，也有正在发生的。

美国某州利用计算机程序为罪犯的再次犯罪概率打分，进而决定保释与假释，分配保证金数额。然而，这个系统发生了些奇怪的事情，黑人博登被评为高风险，白人普拉特则被评为低风险，对两人的两年跟踪调查发现，两年间，博登再也没有受到任何犯罪指控，而普拉特则因抢劫盗窃被判入狱8年。很显然，大数据之下，人类中的种族歧视也被移植到了AI中——但关键问题在于，所有的人都认为，他们是初生的婴儿，是公平。在《对齐问题》中，作者还提到了招聘中的性别歧视，没有人对AI去做什么设定，然而大数据之下，歧视自然的就产生了。

基于大数据建立的人工智能，也许会强化我们族群中被广泛忽略的歧视问题、不平等问题，而一旦这些问题在未被察觉，或者被认为微不足道的情况下进入系统，它们就被固化了，这会是一个很不美好的结局。

于是，读者们对《对齐问题》一书的评论中，很多人提到了人——AI在放大人类现存的问题，以及，最为重要的，AI将交到什么样的人手里？

几乎毫无疑问的，AI会带来生产力的大幅增长，但与上一场信息革命一样，这种强大的劳动力工具会进一步导致财富的集中——从1980年到今天，收入最高的1%的人口所占的收入份额已经从10%上升到了近20%，而最底层的50%的人口所占的收入份额已经从1980年的20%下降到了12%。没人想象的出，GPT面世40年之后，这个数据会变成怎样？更何况这是一个更亲资本的生产力工具。

早在今年2月份，长期关注人工智能问题的MIT教授达龙（Daron Acemoglu）就曾发文提到下列场景：企业辞退了人工客服，大量的人失业，而消费者只能接受一个能言善辩却不能解决任何问题的机器人客服的服务。这样的方式，“会剥夺和取代员工的权力并降低消费者体验，最终让大多数投资者失望”，我们不该如此。

这次公开信并不是人们第一次对人工智的未来表示担忧，盖茨在他的公开信中同样曾提到过要关注人工智能时代的平等问题：市场力量不会自然而然地生产出帮助最贫困人群的人工智能产品和服务，相反的可能性反倒会更大。

早在3月16日，阿特尔曼同样曾担忧地提到“能够思考和学习的软件将完成越来越多的人们现在所做的工作。更多的权力将从劳动力转移到资本。如果公共政策不做出相应调整，大多数人最终会过得比现在更糟”。

因此，阿特尔曼提到，需要引入新的体系，向资本而非劳动者征税从而让更多的人能够共享这次人工智能革命的成果。

目前，AI要成为人类生活的基础设施还需要一段时间，但这个时间可能已经不多了。GPT-4出现后，大型AI的能力在”军备竞赛“中飞涨，AI应用可能会快就会普及到生活的各个方面，却没有时间帮AI测试安全程度、理解人类的需求、设定监管的方案。这也是这次公开信背后的专家们，要为大型AI研究叫暂停的原因。

也许，如同微软首席科学家Eric Horvitz所言：今天，在地平线上的人工智能，有些事情是已知的，有些事情是未知的，中间则是为我们观察这个世界留下的大门。

关注《知识分子》视频号

get更多有趣、有料的科普内容