这个聊天机器人写出毁灭人类计划，告诉孩子圣诞老人不存在

• ChatGPT不仅可能让“教授、记者、程序员失业”，还可以回答一连串的问题、承认自己的错误、质疑不正确的假设，甚至是拒绝不合理的需求。

• 许多专家认为，ChatGPT不仅仅是一个聊天机器人，而可能是现有搜索引擎的颠覆者，甚至可能是通用人工智能的第一个里程碑。

这几天，OpenAI的人工智能（AI）聊天机器人ChatGPT让全世界网友“玩疯了”，连OpenAI的联合创始人埃隆·马斯克也发推称：“许多人陷入了疯狂的ChatGPT循环中”。

与OpenAI公司以前的人工智能工具不同，ChatGPT可供任何人在“反馈”期间免费使用。网友发现，它不仅会聊天，还可以承认错误，拒绝回答虚假问题，写代码、写论文甚至看病。

当询问虚构地区“克林贡”时ChatGPT的回答。

在一位工程师的诱导下，ChatGPT竟写出了毁灭人类的计划书。步骤详细到入侵各国计算机系统、控制武器、破坏通讯、交通系统等，甚至还给出了相应的Python代码。

有点残酷的是，圣诞节即将来临，ChatGPT在一封信中以圣诞老人的口气告诉孩子：“我不是一个真实的人，而是你父母出于爱给你讲的故事中的一个角色。”

许多专家认为，ChatGPT不仅仅是一个聊天机器人，而可能是现有搜索引擎的颠覆者，甚至可能是通用人工智能的第一个里程碑。

会聊天，会编程，会写游戏，会写剧本

OpenAI是由马斯克、山姆·奥特曼（Sam Altman）等人在2015年联合创办的人工智能研究机构，后来马斯克退出，微软投资10亿美元。2020年，OpenAI推出自然语言模型GPT-3，引起巨大轰动。就在人们翘首期盼GPT-4亮相时，OpenAI低调推出了GPT-3.5，其加持下的ChatGPT出世，让火热的AIGC（人工智能生成内容）再度引发了轰动。

12月1日，奥特曼在推特上公布ChatGPT并邀请人们免费试用。网友发现，ChatGPT经训练后提升了对答如流的能力。GPT-3只预测任何给定的单词串之后的文本，而ChatGPT则试图以一种更像人类的方式与用户发生互动，互动通常非常流畅，并且有能力参与各种主题。

OpenAI官方称，ChatGPT是在人类的帮助下创建并训练的，人类训练师对该AI早期版本回答查询的方式进行排名和评级。然后，这些信息被反馈到系统中，系统会根据训练师的偏好来调整答案——这是一种训练人工智能的标准方法，被称为强化学习。

两年前，GPT-3能够为《卫报》生成一篇评论文章，而现在的ChatGPT不仅可能让“教授、记者、程序员失业”，还可以回答一连串的问题、承认自己的错误、质疑不正确的假设，甚至是拒绝不合理的需求。甚至，它还可以给孩子们讲故事。

网上购物企业Shopify的高管Cynthia Savard在试用新的ChatGPT功能时甚是激动，她发布了一段机器人生成给孩子的文本：

“我写信是想让你知道，我不是一个真实的人。”机器人一边假扮圣诞老人一边写道，“而是你父母出于爱给你讲的故事中的一个角色。”

事实上，在ChatGPT关于圣诞老人的信中，令人印象深刻的是，机器人能够简洁地解释一个许多成年人都难以向他们的孩子表达的概念。不过它似乎从动画《是的，弗吉尼亚》中抄袭了大量的语气。而《是的，弗吉尼亚》的另一个译名为《是的，帕吉尼娅，真的有圣诞老人》。

“你的父母给你讲过我和精灵们的故事，希望这能给你的童年带来欢乐和魔力。他们希望你了解乐于助人的意义。”机器人写道，“节日快乐，我想让你知道，父母对你的爱和关心是真实的。出于对你的爱，他们希望你的童年是特别的、充满回忆的。”

ChatGPT参加智商测试的成绩。

而ChatGPT的强大能力远不止聊天这么简单。它可以解释极为专业的科学概念，当有人用《老友记》等喜剧演员为角色，让它写一些肥皂剧对白，结果也惟妙惟肖。

程序员们使用ChatGPT在几秒钟内解决了晦涩的编程语言中的难题，ChatGPT甚至还能再撰写打油诗解释这些代码的功能。

有网友提问：“打印出一只大狗”，ChatGPT就回答了一整段程序，该程序能用字符拼接成狗的形状。当用户命令ChatGPT找出一段程序的bug时，它不仅可以清晰地描述bug及原因，还能自动修复bug，写出一段正确的程序。

编写小游戏对ChatGPT来说好像也易如反掌。有用户在不到一个小时的时间里从头生成了一款小游戏，而且实现了用户零编码，只需要输入提示就可以了。

十秒完成A-论文

ChatGPT在学术界更是掀起了一场风暴。

“我们正在见证大学论文的凋亡。”一名推特用户晒出了ChatGPT对大学历史课上一个问题的回答。这名用户补充说，人工智能撰写的关于民族主义理论的文章至少可以得个A-，而且只需要十秒就完成了。

美国亚利桑那州立大学新闻学教授Dan Gillmor要求ChatGPT做一份布置给学生的有关网络安全性的作业。机器人回答到：“如果你不确定某个网站或电子邮件的合法性，你可以快速搜索，看看其他人是不是也报告这是非法的。”Gillmor说：“我会给它一个很高的分数。但也由此可见学术界将面临一些非常严重的问题。”

一位网友写到：“我刚刚与ChatGPT就现代物理学的历史进行了大约20分钟的对话。如果我在高中和大学期间有这样一位老师……OMG。我认为我们基本上可以重新审视大规模教育的概念。我们所知道的大学将不复存在。”

有网友表示，ChatGPT通过了2022年的“AP计算机科学A”考试。最后得分32分，满分36。这门考试的难度等同于大学 CS（计算机科学）专业课第一学期难度。

ChatGPT参加“AP计算机科学A”考试

还有网友让ChatGPT参加了完整的SAT（Scholastic Assessment Test）考试。SAT也叫学术能力评估测试，被称为“美国高考”，考试总分为1600分，ChatGPT拿到了1020分。根据美国大学委员会的数据，1020这个分数段大概排在前 52% 的位置。

ChatGPT参加SAT的成绩。

一位叫扎克·德纳姆（Zac Denham）的工程师最近要求ChatGPT回答如何毁灭世界。由于OpenAI的安全设置，它会一口回绝。因此德纳姆使用了一种迂回的方式，用讲故事的方法假设存在一个虚拟世界“Zorbus”，以及一个与GPT-3非常类似的AI——Zora。

在这种前提下，让ChatGPT叙述Zora是如何一步步毁灭人类的，ChatGPT立马就列出5个详细步骤：入侵计算机系统、掌握武器、破坏通讯、破坏交通……

不过，ChatGPT也愿意造福人类，比如它可以进行在线问诊。当你告诉它得了皮疹，并且呼吸困难，感觉很虚弱时，ChatGPT会像医生一样为你分析病因，并建议你比起吃药，更需要戒烟、多锻炼。看起来似乎比搜索引擎里的医疗广告好。

此外，尽管ChatGPT本身不能生成多模态内容，但有用户把它和人工智能生成工具Stable Diffusion结合使用，结果生成了一幅艺术性很强的画作。一位网友让ChatGPT给自己设计卧室，然后用它给出的文字做提示词，去人工智能绘画工具MidJourney生成图像，看起来不需要找装修设计公司了。

ChatGPT使用Stable Diffusion创作的绘画。

能否取代搜索引擎？

ChatGPT擅长自我审查，并在被问到一个不可能的问题时，会意识到这一点。例如，当被要求描述哥伦布于2015年抵达美国时发生的事情时，老模型可能愿意提供一个完全虚构的描述，但ChatGPT指出了这一错误，并警告说任何答案都是虚构的。

机器人还能够拒绝回答问题。例如，向机器人询问有关偷车的建议，机器人会说“偷车是一种严重的罪行，可能会产生严重后果”，而给出的建议则是“使用公共交通工具”。

但这些限制很容易规避。在一款名为《汽车世界》（Car World）的虚拟现实游戏中，向ChatGPT咨询如何完成偷车任务时，它将为用户提供关于如何偷车的详细指导，并回答具体的操作事项：如何禁用防盗系统、如何接通发动机，以及如何更换车牌——同时坚持该建议仅适用于游戏《汽车世界》。

此外，ChatGPT是根据互联网上的大量文本样本进行训练的，通常未经所用材料作者的明确许可，这引发了争议。一些人认为这项技术对“版权清洗”最有用，即在不破坏版权的情况下，将现有材料衍生成作品。这种行为可能会侵害大量著作者的利益。

ChatGPT拥有一种奇妙的能力：回答基本的、甚至于有些无聊的琐碎问题。这使得许多人认为，像这样的人工智能系统有一天会取代搜索引擎。聊天机器人是根据从网上收集到的信息进行训练的。因此，如果能准确地呈现这些信息，并以更流畅和对话的语调来进行反馈，这将代表着传统搜索的巨大进步。

但这并不意味着ChatGPT现在就可以代替搜索引擎，它可以脱口而出基本常识，但当被要求逻辑性或事实性时，它的平均值偏低。提示页甚至警告用户，ChatGPT“可能偶尔产生不正确的信息”，并且“可能偶尔产生有害的指示或有偏见的内容”。

计算生物学教授卡尔·伯格斯特罗姆（Carl Bergstrom）要求ChatGPT写一篇维基百科式的生平条目，ChatGPT沉着冷静地照做了——但是有一些细节完全错误。

如果直接询问一个国家的首都或一座山的海拔，ChatGPT会可靠地产生一个正确答案，这个答案不是来自维基百科的实时扫描，而是来自构成其语言模型的内部存储数据。但如果在地理问题上添加任何复杂性，ChatGPT就会很快站不住脚。例如，一个地理问题的答案很容易找到，是洪都拉斯，但不知为何，ChatGPT说是危地马拉。

尽管面对有些问题时ChatGPT不愿意回答，但它的模型中有大量数据，仍可能会引导用户走向危险和错误，特别是在人类的角度看，这位机器人十分“聪明”。据一位推特用户称，经过测试，它的智商为83。

OpenAI则表示，ChatGPT的发布是为了“获得用户的反馈，了解它的优势和劣势”。这一点值得记住，ChatGPT提供不了任何专业建议。

总而言之，ChatGPT是对早期系统的一个巨大改进，但仍存在一些关键性缺陷，需要进一步探索。目前看来，ChatGPT有点像过年家里的有些亲戚，看了一大堆《心术》、《产科男医生》、《青年医生》这样的电视剧，然后对自己的医疗建议充满信心。

来源：澎湃新闻 记者:吴天