万字干货：10 位科学、人文大咖论道，Max Tegmark 贡献思想火花，共同直面 AI 奇点时刻

2023 年 7 月 7 日，由世界人工智能大会 (WAIC) 组委会指导，国际人工智能联合会 (IJCAI) 中国办公室、华东师范大学联合主办，华东师范大学政治与国际关系学院承办，华东师范大学奇点政治研究院、安远 AI、HyperAI超神经数据科学社区、德汇科技创新中心协办的“2023 IJCAI-WAIC 大模型与技术奇点：人文与科学面对面论坛”在上海张江科学会堂科创厅圆满落幕。

在本次论坛上，5 位顶级国际人工智能专家和 5 位国内外知名人文学科领军人物展开了精彩的思想碰撞，讨论面对人工智能的超越发展，我们应该如何应对，以期共同构建一个可信的，有边界，有隐私，有道德，有秩序的人机共生的未来。

国际人工智能联合会 (IJCAI) 理事长 Christian Bessiere 教授，华东师范大学副校长顾红亮出席论坛并致辞。

本次论坛围绕不同主题分为两个对话环节以及一个连线对谈，以下为实录内容，HyperAI 超神经做了不改变原意的分享。

本环节主持人为悉尼科技大学副校长，IJCAI-2024 大会主席张成奇教授。

张成奇：在这里我们邀请到 5 位嘉宾，其中包括两位 AI 科学家和三位人文学者，下面由他们做自我介绍。

杨强：我一直从事人工智能算法研究，早前研究迁移学习，所谓迁移学习是指人类会举一反三、触类旁通，而人类也将这种能力也赋予机器。迁移学习就像老师传授知识给学生，知识由一个模型迁移到另一个模型。最近，我主要研究联邦学习，所谓联邦学习更像学生们在一个学习小组，一起完成一个项目，过程中能保护用户隐私及各方面权益，可以理解为一个高效安全的分布式机器学习架构。

随着生成式人工智能重大发展，很多在我读博时候的想法都得以实现，例如AI具有推理功能、像人类的思维等，所以我对迎接新时代的到来感到很兴奋。

袁振国：我来自华东师范大学，从事教育学科。2020 年，华东师范成立了上海智能教育研究院，提出口号——发展有温度的智能教育。这个口号强调从教育出发、从人的发展出发，而不是单纯从技术出发。因此，我们想从人的发展及教育的内涵出发、尊重人的发展规律和教育规律，运用人工智能技术，使得教育高质量、更加公平、更加快乐。

许纪霖：我在丽娃河畔长大，毕业于华东师范大学政治系，现在历史系任教。我对出现的很多新的事物非常有兴趣，前不久在澎湃发表了一篇关于“反科学观”的文章，这里不详细展开。我意识到 ChatGPT 的横空出世，是人类历史上几百年未遇的一场大革命，将改变整个人类及文明，我对此非常感兴趣。

成素梅：我来自上海社会科学院哲学研究所，主要有两个研究方向，第一个是科学哲学，主要聚焦于量子力学哲学，第二个是人工智能哲学。随着量子信息技术出现，量子力学哲学和人工智能哲学出现了交汇地带，由此，两个研究方向也在相互融合。生成式人工智能的发展正在使人类文明正处于一个崭新时期，带许多值得思考的框架性问题。

 对话环节：

张成奇：杨强教授，大模型和迁移学习之间的关系是什么？

杨强：大模型一个特点是通用，通用是指它能完成多项和多类任务。另一个特点是人类做微调或提示时，改动一点，就能把学会的知识传递到其他模态中。这些特点也是迁移学习的重点，迁移学习就是在两个方向，例如神经网络及传统机器学习等中找到共性和不变性，从而拉近两个方向距离。

这一点大模型做到了极致，并能解决多模态问题。多模态可以做到举一反三，而且少样学习或无样学习就可以实现。所以，迁移学习是大模型里一个特点，且是大模型必不可少的工具。另外，工业实现上，迁移学习也有机会使得大模型变成普惠，这也是我期待的迁移学习将会起到的作用。

张成奇：袁振国教授，生成式人工智能会对教育带来哪些正面影响？

袁振国：从人类文明进展角度来看，我认为它会使得人类知识增长方式发生重大变化，而这对于教育、学习又会产生 3 点颠覆性变革影响：第一，从获得答案到提出问题转变。第二，从获得知识到辨别知识的转变。第三，将人和人的关系转变成人和机器的关系。

张成奇：许纪霖教授，ChatGPT 的出现会对历史学科产生怎样积极的影响？

许纪霖：我认为接下来，人人都将是陈寅恪。陈寅恪作为 20 世纪中国最有影响的史学大师，其本人懂得十几国语言，被认为是了不起的存在。而今天，我们问 ChatGPT 一个问题，可能会得到比陈寅恪的回答更加完备的答案。这意味着，人工智能将颠覆学科中的教学模式。

同时，ChatGPT 的出现，会使得好老师、好学生的评价标准出现变化。好老师意味着教学水准要超过 ChatGPT，而好学生要从被动接受知识转变成提出能够主动提出好问题，所以，ChatGPT 也有机会让学生成为创新性人才。

张成奇：成素梅教授，ChatGPT 的出现会对哲学学科产生怎样积极的影响？

成素梅：总体而言，我认为 ChatGPT 出现不仅激发了许多传统哲学问题的讨论，而且带来了新的哲学问题，使哲学从科技发展的边缘走向中心。人工智能从一开始就与哲学相关。早期，人工智能的符号主义继承了西方哲学中的理性主义传统；神经网络、深度学习的兴起对应于海德格尔的哲学思想，突出人工智能与环境的互动性；当下，ChatGPT 的兴起，对应于路德维希·维根斯坦的哲学思想，突出了人工智能与人之间的相互学习，体现了社会性。当人与机互动从文字交流发展到用自然语言互动时，人工智能的应用场景将会更大。从哲学角度来看，这促使我们需要重新审思现有的哲学框架、概念体系如何随着技术发展的变化而变化等问题。

张成奇：本次讨论中，我们主要关注人工智能带来的正面影响，但每项重大技术和革命都可能带来挑战和负面影响。请问袁振国教授，生成式人工智能是否会颠覆传统的教育体系并对教育带来负面影响？许多家长担心人工智能的发展将导致许多职业消失，您能否在专业选择上给予一些建议？

袁振国：首先，互联网及人工智能对循序渐进的学习方式产生了挑战。传统学校课程设置、教学编写、教师要求都是按照循序渐进的方式进行的。但是现在的知识呈现方式完全不受该限制，没有上过学的小孩子可以自主学习量子力学、黑洞理论等知识。其次，是知识的系统性。在传统的大学教育中，课程设置层次清晰，可分为基础课程、专业课程和应用课程等。然而，随着搜索引擎的普及，我们可以根据需要随时搜索所需的信息，也可以随时提出问题寻求答案，而不再依赖于一个系统化的知识体系。长期以来，我们的教育体系建立在循序渐进和系统性的基础上。倘若这两个基础瓦解了，我们需要思考如何构建一个适应新背景、与网络、人工智能和大规模模型相适应的教育新形态。

在这样的背景下，许多职业都有可能发生巨大的变化，但是我相信教师这个职业依然是非常重要并且不可替代的。关于家长怎么帮助孩子选职业这个问题，则需要根据自己的孩子的兴趣、能力、知识结构，家长的人脉资源等进行综合考虑。

张成奇：许纪霖教授，生成式人工智能横空出世的靓丽表现会对人类社会带来冲击，这是不是打开了一个潘多拉魔盒？如果是，您建议如何应对？

许纪霖：昨天，世界人工智能大会开幕式上黄仁勋曾提及，下一波人工智能的浪潮是具身性，即机器人有了身体，拟人化的机器人。他说未来 5-10 年，人工智能要解决的问题是数字生物。现在的人工智能在某种意义上是没有肉身的，它只有知识，甚至有智慧，但是它的情感功能开关是关闭的。我们作为自然人，我们应不应该让这个人工智能拥有自我意识这个问题是一个哲学上的问题。

许多探讨了人机关系的科幻片今天都成为了现实。当机器人获得自我意识之后，可能会出现一些不同的情景。一种可能是自然人和机器人和谐相处，但也有可能出现另一种情况，即机器人成为一个新的独立物种，与自然人发生物种之间的冲突。如果我们没有控制能力或控制意识，我们将面临一场物种之间的战争。今天我们作为碳基生物对硅基生物的了解有限。一旦人工智能超过某个临界点，超越了我们的控制，它可能会发展出一套独特的逻辑和理性，以及选择和情感功能。就像原子弹和核技术的发明一样，如果没有某种监管和控制，它可能会带来毁灭性后果。

从哲学角度来说，我们必须有一个预设，可以是以人类为中心对人工智能进行限制，也可以是一些后人类主义的预设，即试图与人工智能平等共处。但是个人而言，我更倾向于在面对未知时保持审慎。我们需要敬畏自然人，毕竟碳基生物经历了上万年的自然进化，拥有自我保护机制。然而，我们人类太聪明了，如同上帝般创造了新的人类，等到我们意识到 AI 不可控时，可能为时已晚。因此，我赞同我们需要成立一个国际组织，对 AI 行业制定全球规则来确保人工智能的发展对于人类是有益的，不会带来无法预测的风险。

张成奇：请成教授谈谈碳基生命和硅基生命怎么和谐相处？万一失控了，我们能和谐共处吗?

成素梅：我认为，碳基生命和硅基生命是两类完全不同的生命。就智能而言，人的智能和机器智能至少有三方面的不同。第一，起源不同。人的智能是长期进化的产物，机器智能到现在仅有六十年多年的时间，来源于算法与计算机硬件的协同作用。机器智能具有物质性和自主性，并且，自主性程度在逐渐变强，这对我们过去形成的一套治理方式、制度体系、概念框架、思维方式提出了新的挑战。

第二，机制不同。人是生物智能，机器是物质智能。在“图灵论题”提出后不久，加拿大理论物理学家和科学哲学家邦格就指出，两类智能的差别就像花纹布和斑马的区别一样，他认为，机器智能是建立在物理系统上的，是人的代理智能，而不是人的智能本身。在我看来，如果把人工智能等同于人类智能来想象的话，将会把我们带入技术神化时代，或者是技术崇拜时代，陷入技术威胁论的恐怖之中，这无疑会阻碍技术的发展。但另一方面，人工智能等技术需要得到社会的评估，来决定其未来的发展方向。因此，加强对技术发展的监管和治理是必须的，我们需要探索一体化的治理机制。

第三，应用范围不同。人工智能和人的智能应该是互补的状态，而不是相互排斥的状态，人工智能应该是成为人的合作者，人类将由此不断地进入“人机双向赋智”的时代，即，人工智能赋智于人类，使人类获得前所未有的超强能力，同时，人类也赋智于机器，使智能机器越来越聪明。我们应该探索人机合作的各类应用场景，强化人机互动和双向赋智，而不是相互排斥。

总而言之，硅基生命是介于人与工具之间的新生事物，是人类的物质助理。硅基生命对人类的威胁不在于其发展成为拥有超强能力的生命体，而是在于这种发展将会把人类追求的自动化从生产领域拓展到知识、思想乃至决策领域，并且，加速人的身体技术化和精神技术化进程，使关于“人是什么”问题从古老的哲学命题变成当今的实践命题。从这个意义上看，不是硅基生命的失控会摧毁人类，而是人类在新一轮文明转型过程中，可能会由于“人性”的狂妄而导致自毁。因此，我们需要在文明转型的出发点开启新征程，致力关注如何提升人的生命意义和精神境界的问题，拉成“人，成之为人”的第二个过程。第一个过程是人从自然界中分离出来，第二个过程是对人性的真正理解和自觉守护。

张成奇：杨强教授，你认为下一步人工智能的研究方法会不会受到 ChatGPT 的影响？如果受到影响，对于接下来研究方法的建议是什么？

杨强：人类在近几年的科学研究中遇到了多次技术变革，这不仅仅是挑战，更是机会。虽然有一些领域的重要性可能会淡化，但是也会出现一些新的领域。每一次科学技术变革会带来一些新的机会，我们应该关注这些新机会，真正革命性的变化可能也在孕育。我们承认我们的大脑只有那么大，我们的神经元只有那么多，但是有一天神经网络的神经元可能会超过我们，它可能会在解决某些具体科学问题的时候比我们要强得多，那个时候科学研究者就要改变他们的工作方式。也许 10-20 年以后，有些自然科学和社会科学系里的人类会变得非常少，更多的是人工智能在协助做研究。

本环节的主持人为安远 AI 创始人谢旻希先生，他向各位观众介绍了嘉宾  Max Tegmark 教授。

Tegmark 教授是世界知名的物理学家和宇宙学家，也是一位人工智能科学家，近年来在 MIT 专注于研究大语言模型、为什么会产生智能等可解释性的问题。同时他还是未来生命研究所的创始人，在 3 个月前发布公开信，呼吁暂停开发比 GPT-4 更强大的 AI 系统至少 6 个月，以确保 AI 开发安全可控。

完整版直播连线内容及 Q&A 环节可点击查看以下链接：

对话二的主持人为 IJCAI 中国办公室秘书长邵怡蕾博士。

邵怡蕾：本节对话的嘉宾阵容十分精彩，IJCAI中国办公室和华东师范大学政治与国际关系学院携手尝试第一次将来自理科的 AI 科学家和来自文科的历史学家、哲学家和政治学家坐在一起共同对谈人工智能的发展和给我们带来的困惑。下面有请上海纽约大学校长童世骏教授；新南威尔士 大学New AI Institute 首席科学家、澳大利亚科学院院士 Toby Walsh教授；华东师范大学政治与国际关系学院院长、奇点政治研究院院长吴冠军教授；悉尼科技大学副校长、IJCAI-2024 大会主席张成奇教授以及 UIUC 伊利诺伊大学厄巴纳-香槟分校计算机系李博教授。首先请 5 位嘉宾做一下自我介绍。

童世骏：我叫童世骏，目前在上海纽约大学担任校长，同时仍然是华东师范大学哲学系的一位教授。虽然自从 1988 年就开始使用电脑，但对于电脑的机理一无所知，只是一直对电脑的应用、信息技术和人工智能会产生的社会效果感到好奇，很高兴有这么个机会来学习。

Toby Walsh：在过去的五十年，我一直梦想着我们的人工智能，而在过去的四十年内，我一直努力将梦想转换为现实。我很荣幸能成为澳大利亚悉尼 UNSW New AI Institute 的首席科学家，负责任的使用人工智能一直是我们研究所的核心研究之一。这个技术正在引领着实验室，成为我们生活中非常重要、非常有影响力的一部分.因此我们有责任以科学家的身份思考，同时也要让许多其他人参与对话，包括律师、伦理学家、社会学家、政治学家，以及整个社会，共同探讨如何确保技术能够被负责任地使用。

吴冠军：我叫吴冠军，在华东师范大学担任政治与国际关系学院院长，我们学院也是今天的承办方之一。我认为，在今天学术研究的学科壁垒一定要打开，不能把研究视野只局限在某一个狭小领域。今天在场有很多不同领域的学者，走出了学科的舒适区，一起来思考时代的大问题。我很期待和今天在座的学者们一起，来探讨我们可能面对的奇点式的挑战。

张成奇：我是 1982 年开始研究人工智能的，做了四十多年研究，目前是悉尼科技大学的副校长，我希望能够传播、推动更多的年轻人投身到这个领域，我想借此机会宣传两个大会，第一个是今年的 8 月 19 日-25 日在澳门举办的第32届国际人工智能联合会议，预计有 2500 个人工智能专家会参与此次会议；第二个是明年 7 月 13 日-19 日将在上海举办的 IJCAI-PRICAI-2024 大会。作为明年的大会主席，我希望提供给大家一个碰撞交流的平台，让大家可以相互学习，共同进步。

李博：我来自于 UIUC，我的研究主要围绕 Trustworthness In Machine Learning，从 18 年的 user physical stop sign ，到后来的 Attack Exploration，我们发现 AI 的各种模型，比如 CV、NLP 以及大模型等都很脆弱 (vulnerable)。目前我们的 Trustworthiness 是关于 GPT-4 和 GPT-3.5 脆弱性和局限性的评估和研究。这其中就会涉及到金融、伦理，这些和人文更加相关的角度。因此，我也希望借此机会好好和各位老师学习，如何从人文的角度更好地理解不同的模型在不同垂直领域的 Trustworthiness Issues。

邵怡蕾：谢谢五位嘉宾，论坛的第二部分会产生更多的对话和交锋，希望大家积极发表不同的观点。近期，不管是 AI 学界的学者，还是社会各界的人文学者都在讨论人工智能。在大家之前的认知里，通用人工智能至少是五十年之后才需要考虑的问题。但是现在，不管是学界还是社会各界都觉得这个事情已经近在眼前。这似乎是人类第一次和一个人造物发生了主体和主体之间的互动。面对 ChatGPT，我们和它的关系是否还是主体对客体的支配关系不再那么清晰明了。

法国哲学家和社会学家布鲁诺·拉图尔的“行动者网 络 理 论” (actor-network theory) 的 核 心 命 题 是：“非人” 的 物 同 样 是 行 动 者， 它 们 和 其 他 行 动 者（“人”）对等地彼此“触动”与“被触动”，从而形成网络状的关系。拉图尔书中的唯物主义者 (materialist) 说：“我们就是我们所拥有的，至少是我们手中所拥有的。” 那么，一个人身上带着一个比枪厉害一百万倍的AI大模型时, 这个人将被蜕变成什么？这个 AI 又将被蜕变成什么？我们今天就将讨论“ AI 和人是如何相互触动的”。在今天参会的名单中，有学生、学者 AI、 领域的创业者，公司的高管职员和政府部门职员等等，都是对这个领域感兴趣的人士。下面开始我们的第一个问题。

 对话环节 

邵怡蕾："AIGC 和 AGI 是什么？” 请在座最年轻的人工智能研究者李博教授给大家讲一讲。

李博：AIGC 是 AI Generative Content 的简称，主要是在于生成，包括图像的生成，去年开始 diffusion model 有了新的突破，生成的图像质量非常高。之后就是 NLP 领域的生成模型，包括 GPT (Generative Pre-trained Transformers) 以及自回归生成模型和原始编码器-解码器类型的生成模型之间的比较。在这些生成式场景下，AI 和人的生活联系变得更加紧密，同时也可以激发人类的创造性，让我们和机器与智能的交流迈向了新的台阶。

AGI 是 Artificial General Intelligence 的简称，这里的 General 可以从两个角度解释，一是 Intelligence Task Machine 可以完成现在人类以及不同动物能够做到的事情。另一种更进一层的说法是，它甚至可以超过人类。由于现在 AIGC 的迅速发展，AGI 时代已经到来，因此会引发更多关于安全性的讨论和思考。

邵怡蕾: ChatGPT 于 2022 年的 11 月 30 日发布后，我们突然被卷入了一个 AI 的时代。请吴冠军教授和 Toby Walsh 教授回答下面这个问题：“为什么这个突破来自于大语言模型，掌握语言是否代表了拥有人类的智能？未来五年的展望将是怎样的？”

吴冠军：我们需要关注语言的重要性。有一个影响诸多人文与社会科学研究的概念，叫做语言学转向。语言是人类同其“世界”发生关联的媒介。用互联网海量文本训练的大语言模型，学习的就是人类“世界”，而不是“前语言秩序”。由于它可以在不同副本间直接共享权重，所以学习速度极其快，在不断规模提升后，近乎通用的智能便“涌现”了出来。人类经由语言来听说读写，输入输出速度远远比不上使用深度神经网络的大语言模型。当我们还在嘲笑GPT 有时会说错乃至胡说八道时，别忘了我们人说的话同样很不靠谱，包含错误，哪怕是看上去经过深思熟虑。记住，大语言模型不是深思熟虑，它甚至根本不“理解”自己所输出的内容，但它关于“世界”各方面的描述，就是既速度比人快，还质量比人高。在这个意义上，人类的智能，将受到根本性的挑战。

Toby Walsh：我并不认为大语言模型掌握了语言。我们高估了人类的智力，同时也高估了机器智能，有很多例子可以证明这些模型对于语言的理解能力是非常差的。虽然人类在沟通时只需要很少的智力，但当使用大语言模型去写一封完美的商业信、以威廉·莎士比亚的风格写诗或者做出更多令人惊叹的内容时，我们认为这些任务所需的智能远远超过于它们所做的。他们之所以能写出完美的商业信函，是因为商业信函非常公式化，如果你向大型语言模型提供足够的例子，它们只会基于统计学的基础上去探索相似的内容，但它们并不真正理解这些词语的含义。

举个例子，当你要求模型提供两张图片，一张为毕加索画的猫，另一张为猫画的毕加索时，它们不理解这些词语之间的关系，因此会发送类似的图片给你。

我认为我们并没有取得很大的进步，我们所做的很多沟通实际上都相当的公式化，现在我们使用计算机来学习这些公式，但这并不意味着这些计算机具有这种智能。这些模型在进行推理时经常失败，不仅仅是在理解词语和词语之间的关系方面，还有许多其他方面。

所以我仍然认为我们需要在多模态领域取得一些基本进展，不仅仅通过语言，机器也要通过其他音频形式进行学习。我仍然认为我们面临着巨大的挑战。语言模型将是其中一个重要因素，因为这是它们开始理解语言的起点。但要认识到，当我们遇到复杂情况时，这些模型的表现仍然相当有限。

邵怡蕾：我不同意你的观点，但我们会将在这一节的最后一个问题进行讨论。现在我想请问李博教授：“目前可用的算力正在逐步耗尽，可用的公开数据也在减少， AI 发展是否可持续？这是否意味着我们不用过度担心 AI 的进展？”

李博：虽然公开数据并不是很多，但是从英文数据来说，国外最流行的 RedPajama，是按照 LLaMA 的 方式直接做出来的。用这些数据训练出来的公开模型表现得已经非常好了，这表明从公开数据集中得到知识并不是具有高挑战性的技术。对于这样高质量的模型，它的脆弱性和局限性依旧存在。比如 GPT-4，它依旧有一些稳健性，隐私性以及商业性上的问题。

算力问题上，我们不一定需要集中式集群，我们可以利用分散的算力资源，这样的资源还是很多的。我们需要提早地理解模型的机理以及实际部署上的限制。

邵怡蕾：接下来，我们把时间往后推十年，想象一下到 2033 年，人类与 AI 的关系将是怎样的？AI 是否是危险的？为什么？我们应该如何看待人类与 AI 的关系？是俯视，平视，还是仰视？是否还有其他视角？

童世骏：AI 最后会和人类有什么样的关系，取决于人类自己想要干什么；人类在认识世界的过程中也认识了自己，在改造世界的的过程中也改造了自己。人工智能可以做到很多对我们有益的事情，但是也可能会做出对我们有害的事情；而有害的事情，哪怕只有很小的发生概率，也是需要我们特别重视的。就此而言，把中国忧患意识 (Worrying) 的传统和古希腊好奇意识 (Wondering) 的传统结合起来，对处理好人工智能和人类的关系，极为重要。

吴冠军：已经有一门学问叫做 Technopolitics，研究技术对人类共同体组织形式所产生的实质性影响，很多时候我们对这些影响视而不见。技术在智能上可能超过人类，但我们仍然可以发展政治智慧，用这份智慧把我们组织起来，一起应对 GPT 时代的文明性挑战。

邵怡蕾：AI 发展对人类的益处以及其成本分别是什么？众所周知，益处包括新的工作机会、劳动效率提升，每个人都可以非常便宜且容易地创造自己的元宇宙。同时这也会带来很多成本，包括原来的工作岗位流失，碳足迹的增加。以 OpenAI 的大模型为例，模型推理一年的碳消耗大概相当于几百个人类。会不会由此产生新的剥削方式？比如拥有大模型、拥有算力的人，是不是就变成了新的剥削阶级？在这个问题上，我想听一听张老师的想法。

张成奇：这个问题很重要也很宏大，我从这个宏大的问题当中挑一个点来回答一下。大模型有积极的一面，例如提供非常好的答案、提升效率、节省能源，同时它在逻辑以及深度思考方面还有明显不足，例如我问过几次关于快速计算以及乘法的问题，他们会给出错误或者有瑕疵的答案。

我建议把应用领域用 “错误敏感度” 来定义。在错误敏感度非常高的领域要慎用，或者有人类专家审查后再用。比如医疗诊断，法律判案。在错误敏感度中性的领域要根据错误率决定。比如：股票交易。如果错误率低于 50%，就可以用。在错误敏感度非常低（或者无法判定对错的）领域，尽管用。比如，作诗，绘画，讲故事等，尽管生成式系统会 “一本正经的胡说八道” 也没关系。研究人员就是在每个领域判定 “错误敏感度”。

邵怡蕾：Toby 教授，你在近期的一篇文章中提到“My concern is that while we’re addressing the very real and expected problems Hinton and Finlay have warned about, we’ll miss something even bigger.（我担心的是，虽然我们正在解决 Hinton 和 Finlay 警告过的非常真实且预期的问题，但我们可能会错过更大的事情）”，这里提到的“something even bigger”是指什么？能不能为我们解读一下这句话？

Toby Walsh：这其实指的是两个“concern”，长远来看，这两个顾虑将是人类历史上最大、最严重的担忧，所有的人类文明、文化知识、科学知识，在几个月内就被 AI 收集捕获，且没有给予人类智慧任何尊重，没有给予创造这些智慧财产的人类任何价值回报。我们曾对社交媒体获取用户个人数据感到担忧，但从没意识到这其实意味着我们要放弃全部人类知识总和，以及少数几家公司从中获利，从而使得整个社会变得贫穷。以上是第一个顾虑。

第二个顾虑更为紧迫更为重大，我担心人类无法从社交媒体中学到任何东西。社交媒体能连接用户，同时也会加剧人类之间的分裂，例如政治观点极端化，在许多方面，它被用来制造伤害、煽动暴力、让帮助者难堪，这些都是通过在社交媒体上发表的帖子引起的。大量数据显示，使用社交媒体不但不能提升幸福感，反而会加剧焦虑。而且这些伤害往往是意料之外的。

随着类似生成式 AI 的出现，我担心我们正在经历同样的事情，但是几年后会发生什么？带来哪些危害? 社交媒体上的“恶”都源自人类行为，所有假消息、所有极端观点都会被这些工具利用起来，我们现在可以通过生成式 AI 对其进行扩展和个性化，并且已经开始出现一些负面的应用案例了。尤其是即将到来的美国总统选举，共和党已经推出了竞选成员，视频中的每一张图像都不同，没有一张是真实的。我们可能会陷入一个无法分辨真假的世界，每一张图片、每一个视频、每一个音频都有可能被篡改。而且当我们谈论任何媒体时，我们需要留意所有被告知的事情，可能只是某种合成元素的产物。所以我认为，在开始担心生存风险和接下来要面对的事情之前，我们现在面临着非常紧迫的挑战。

邵怡蕾：是否应该监管 AI 的发展，以及如何监管？监管什么？由谁来监管？

童世骏：就像核武器核能的监管一样，人工智能的监管，也需要国际合作。同时两者也有一个区别：核武器核能的研发更加集中，更加跟政府资金有关，而 AI 的研发跟民间资本和民间活动关系更大，因此不仅要有相应的国际监管或不同国家政府之间的合作的监管，而且要更多发挥全球范围的民间组织和公益组织的监管。也就是说，对人工智能的监管，不需要“国际主义”的视角，而且需要“世界主义”的视角。

邵怡蕾：李博老师研究的课题非常有意思，她研究的论文叫 decoding trust（解密可信），即如何把机器的可信变成一个可以计算、可以测量的东西。我想问一下李博老师，在监管 AI 这件事上，真的可以用一种算法把可信这个东西测量出来吗？

李博：decoding trust 是第一个针对大模型（包括 GPT 4、GPT 3.5）的综合可信度评估方法。不同于分类模型或目标检测模型，对于大模型这种自回归生成模型而言，其可信度量化评估非常困难。学者们或者工业界的人一致认为要监管、控制或理解模型，第一件事就是要量化其可信度，所以这个项目要做的事情非常必要，而且还有很多后续的工作。

生成模型的可信度量化包括方方面面，如稳健性，NLP 领域如何定义稳健性？大模型有新的能力，这些新能力一方面是好事，另一方面也会带来错误使用。所以从第一个角度来讲，这个目前还在研究中，初步看来是可以量化的，但还有很多工作要做。

至于这个能不能帮助我们监管 AI，我觉得一方面肯定是可以的，因为这样我们就可以理性地看待，而不是感性地感受大模型的能力及可信度。另一方面，我们还没有一个评估的绝对值，还需要结合一些纵向的指标，比如 safety-critical scenario，类似 describing 就需要更严格一些，在一些更普遍的领域，可能就更松一些。如何定义这个阈值，我觉得还需要技术领域和人文领域共同努力、达成共识，制定和得到一个共同协议，这还是很具有挑战性的。

邵怡蕾：为什么人类想要量化机器的可信度？如果有人来量化我的可信度，我的感受是怎样的？人类应该如何对待 AI？是把它当成一个平等的物种，还是把它当成一个被支配的客体？如果它只是我的一个工具，我当然可以设置它出厂标准，如果不合标准，它就要被放弃。那 AI 到底是不是这样的？现阶段的 AI 跟我们是主体跟主体之间的互动，还是仅仅是一个被支配的工具？这引出了本场的最后一个问题：“当智能从大型语言模型中涌现出来，人类应该如何重新思考智能？AI 是否具有智能？AI 能够拥有意识吗？我们应该把 AI 当作生命来对待吗？” 我想听听在座每位嘉宾的回答。

童世骏：AI 是一个工具，至少是我希望 AI 永远只是为人服务的工具。人类具有意识，它有两个最基本的条件，一是要有主体间互动，二是要有第一人称视角，或者说，日常生活世界中第一人称经验。但这两者 AI 都没有。可以设想机器人借助于自然语言不仅能学习现有知识，而且能在与用户和其他机器人的互动中生成新知识，但这种互动并不是人类社会的正常互动。缺乏这种正常的人际互动，机器人即使具有意识，也会像人类当中因为无法参与正常的人际互动而出现的自闭症患者那样，只能具有残缺意义上的意识。我不希望未来有一群机器人版本的自闭症患者来取代人类，所以我不赞成让 AI 变成一个人类平等对待的物种。

Toby Walsh：这个问题的难点在于，关于人类的存在，意识是最不被理解的观念之一。我们知道宇宙是如何诞生、发展的。但是，人类对自己存在的理解中，最不明了的部分就是早上醒来并睁开眼睛时所经历的。你醒来时，并没有说我很聪明，而是说，我醒了，我有意识，我知道世界在发生什么，并开始体验那种独处的丰富感受。我们无法确定机器何时会拥有这样的能力。我们也无法衡量意识。目前科学上关于意识所知甚少，大概只能确定它发生在大脑中，可能与呼吸有关，就这些了。这令人惊讶，因为这是我们存在中如此深远重要的一部分。

据我们所知，今天的机器并不具有意识，但这并不意味着机器不了解任何物理定律。我们对于意识的了解还非常少，甚至都无法清楚地定义它。但是，这并不能排除未来机器拥有意识的可能。如果幸运的话，机器永远都不会产生意识，因为一旦机器变得有意识，就需要赋予其权利，如动物。相反，如果像现在这样，机器没有自我感知能力, 那么人类可以继续把它当作仆人对待，并让其执行已经设定好的任务。未来充满趣味和挑战，在探索和建立新技术过程中, 或许人类可以更深入地理解关于人类存在的基础，即使机器可能永远无法真正活过来。

吴冠军：这个问题里涉及三个概念：智能、意识以及生命。泰格马克教授将人工智能视作生命 3.0，这引起很多争论，我们先存而不论。让我们来看智能与意识。随着大语言模型的兴起，人工智能已接近拥有通用智能。而人工智能是否会有意识，这仍然无法预知。就目前的技术发展路径来看，意识很难产生，但仅仅不久前我们曾经也认为通用智能短时间内不会出现。随着规模而产生的“涌现”，已然是人工智能研究中的一个必须关注的现象。

因此，当下，我们需要看到：作为一个技术存在，人类正在使用人工智能，但后者也正在极大地改变着人类做事方式及对彼此的理解。如何应对这种改变已成为全社会的挑战，而我们需尽快思考如何具体去应对。

张成奇：第一，我觉得大家的观点无关对错。第二，人工智能之前是工具、现在是工具，我希望将来仍将是一个工具。第三，我强烈反对一个看法——ChatGPT 已足够聪明，人类不需要再进行知识积累。因为深入耕耘某领域才能够去领导机器，为自己服务。反之，则会被 ChatGPT 快速超越。总之，我认为生成式人工智能能够帮助提高人类，但我们还是要把它当做一个工具。

李博：首先，在人类社会中，其实也有很多评价标准，包括信誉度等。从这个角度来说，人和机器是一种合作关系，我们对彼此的评估是一个加深了解的过程。有了这个过程，人类才能更好地利用机器。另一方面，我完全同意各位老师的意见，现在及未来，人类还是会把人工智能作为一个工具。

目前，在我所有的研究中，从 trustworthiness 中的一些简单的错误能够看出人工智能依然缺乏逻辑推理能力，依然是是一个工具的存在。然而过往例子中，人类也出现过错误使用一些工具，因此，对我们来说最重要的是，尽可能多地了解人工智能，从而避免错误使用，以免造成一系列严重后果。

邵怡蕾： 听过各位嘉宾的回答，我想表达一下我的观点。首先分享一些数字，ChatGPT 的训练数据大约是 1000 亿个词。一个人生到死，大概能够听到 10 亿个词。以人类现在的预期寿命 70 年，ChatGPT 相当于读了大概 7 万人类年的信息。我很难想象，当这么多的知识，近乎整个人类文明的信息量被吸收进去，这样的人工智能还仅仅是一个工具。我觉得它未来可能不仅仅只是一个工具，但它是什么很难被定义。AI 可能是一个新的物种，但是“物种”这个词可能也需要被重新定义。

今天非常高兴请到 10 位嘉宾在这里跟我们讨论了 AI 现在的进展，人跟 AI 的关系，我们应该如何去控制及监管 AI 的问题。像许纪霖老师提到的：“新人类，不是技术上能不能，而是哲学上该不该”？童世骏老师提到的“‘可能的’就是‘应当的’吗”的哲学问题？杨强老师提到的“技术变革，这不仅仅是挑战，更是机会”。吴冠军老师呼唤“我们需要首先重新审视人如何跟他人相处？”。刚才讨论的很多问题激发了我们去进一步思考：“如何与其他的物种相处？”；“如何以行星的尺度去看待问题？”；“人工智能时代是否是智慧全球化的开端？”；“东方智慧与西方智慧、科技前沿和人文智识是否都能够在面对人工智能的超越发展和伦理困境这件事上重新携手起来？”。

再次感谢我们的嘉宾和来宾们！