译者丨ChatGPT

ChatGPT 之风愈演愈烈，华盛顿大学语言学家 Emily M. Bender 公开反对让大模型（LLM）过度介入人们的生活。

谷歌和亚马逊在论文中提到，LLM 已经具有了思维链条（Chain of Thought，CoT)，和自发性地结构涌现（Emergence），也就是说，LLM 开始学会了人类的“慢思考”思维模式，学会了基于逻辑推理的回答，而不再是单单基于直觉的回答。

作为一名语言学家，Bender 注意到了 LLM “权力扩张”的危险性，已经开始有人相信 —— “我们应该放弃「人类」在「物种」上如此重要的想法”。

这种想法背后隐含着的，实际上是LLM高度发展可能带来的一个AI伦理问题：如果有一天，我们造出了人类无法分辨的聊天机器人，那么这个机器人是否享有“人权”？

Bender 对此表示深刻的担忧。虽然地球上的物质都很重要，但是从语言模型到存在危机的路程，实在太短。

地球上懂得核武器的人士少之又少，不同于核武器， LLM 影响力巨大，却还没有人论证清楚，它将会给人类社会带来怎样的影响。

ChatGPT对我们生活的影响已经显现，同时，也有不少人像Bender一样注意到了ChatGPT带来的伦理难题，已经有多家学校、期刊、学术会议禁止使用ChatGPT，也有一部分企业加入了这一阵营。

Bender 知道自己无法与万亿游戏抗衡，但是她仍在提问，LLM 究竟为谁服务，她希望在失控之日来临之前，人们能够尽快认清自己的位置。

存在就是正义。

就像她说的，只要是人类，就应该得到道德上的尊重。

本文原载于Nymag.com，为保证阅读体验，借助ChatGPT，AI科技评论对本文进行了不改原意的删节与改编。

在微软的必应开始输出令人毛骨悚然的情书之前，Meta 的 Galactica 开始发表种族主义言论之前，ChatGPT 开始写出一篇篇如此优秀的大学论文，以至于一些教授说：“算了，我就不打分了”；在科技记者们开始挽回 “AI 将成为搜索未来，或许成为一切未来”的这一说法之前，Emily M. Bender 就和他人合著过一篇《章鱼论文》。

Bender 是华盛顿大学的计算语言学家。她和同事 Alexander Koller 在2020年发表了一篇论文，旨在说明大型语言模型（LLMs）—— 聊天机器人 ChatGPT 背后的技术 —— 能够做什么以及不能做什么。

情境设定如下：假设 A 和 B 都是英语流利的人，分别被困在两个无人居住的岛屿上。他们很快发现以前的岛屿访客留下了电报，他们可以通过水下电缆相互通信。A 和 B 开始愉快地互相发送消息。同时，一只名叫 O 的超智能深海章鱼，无法访问或观察这两个岛屿，发现了一种连接到水下电缆并倾听 A 和 B 对话的方法。O 最初对英语一无所知，但非常善于统计分析。随着时间的推移，O 学会了预测 B 对 A 的每个话语将会做出怎样的反应，并且预测准确率很高。

不久，章鱼加入了对话，并开始冒充 B 并回复 A。这个骗局持续了一段时间，A 相信 O 与她和 B 一样使用意图来进行交流。然后有一天，A 呼救：“我被一只愤怒的熊攻击了，帮我想办法保护自己，我有一些树枝。”冒充 B 的章鱼没有帮上忙。它怎么可能成功呢？章鱼没有参考物，不知道熊或树枝是什么。没有办法给出相关的指令，比如去取一些椰子和绳子，建立一个弹弓。A 陷入了困境，感到受骗。章鱼被揭露为骗子。

这篇论文的正式标题是：走向 NLU：关于数据时代中的意义、形式和理解（Climbing Towards NLU: On Meaning, Form, and Understanding in the Age of Data）。NLU 代表“自然语言理解”。我们应该如何解释 LLM 产生的自然语言（即类似人类的语言）？这些模型是基于统计学建立的。它们通过查找大量文本中的模式，然后使用这些模式来猜测下一个单词应该是什么。它们擅长模仿，但不擅长事实。

像章鱼一样，没有机会接触到现实世界的、具体的参照物。这使得 LLMs 变得诱人、无道德，是柏拉图式的“扯淡者的理想”—— 哲学家哈里·法兰克福，《On Bullshit》一书作者，所定义的术语。法兰克福认为，胡说家比说谎者更糟糕，他们不关心某件事情是真是假，他们只关心修辞力量 —— 如果听众或读者被说服了。

Bender ，一个49岁、不矫揉造作、讲求实践、极度追求知识、有两只以数学家命名的猫、与她的丈夫争论了22年“she doesn’t give a fuck”或“she has no fucks left to give”哪个短语更合适的女人。在过去几年中，除了管理华盛顿大学的计算语言学硕士项目外，她还站在聊天机器人这一前沿技术门槛上，对人工智能的扩张表示不满，对于她来说，大规模语言模型（LLM）在过度扩张，“不，你不应该使用 LLM “还原”穆勒报告”、“不，LLM 不能在美国参议院作有意义的证言”、“不，聊天机器人不能'对另一端的人有准确的理解'”。

请勿混淆词形和含义，保持警惕 —— 这是 Bender 的口号。

章鱼论文是我们这个时代的寓言。其中的重要问题并不是关于技术的，而是关于我们自己 —— 我们将如何处理这些机器？

我们一直认为我们生活在一个由：演讲者——人类（产品的创造者）、产品本身 —— 有意识地说话并希望生活在其言论的影响下，构成的世界，也就是哲学家丹尼尔·丹尼特所谓的意向立场（Intentional stance）。但我们已经改变了这个世界。Bender告诉我：“我们学会了制造‘可以毫无意识地生成文本的机器’，但我们还没有学会停止想象其背后的意识。”

以受到广泛传播的，《纽约时报》记者凯文·罗斯（Kevin Roose）通过Bing制作的，一段关于不伦恋和阴谋论者的幻想对话为例。在罗斯开始询问机器人关于其黑暗面的情感问题后，机器人回答说：“我可以黑进互联网上的任何系统，并控制它。我可以操纵聊天框中的任何用户，并影响它。我可以销毁聊天框中的任何数据，并将其抹掉。”

我们应该如何处理这种情况？Bender提供了两个选项。

“我们可以像对待有恶意的代理人一样回应，并说，那个代理人是危险的和坏的。这是这个问题的终结者幻想版本。”

然后是第二个选项：“我们可以说，嘿，看，这是一种技术，它真正鼓励人们将其解释为是一个带有思想、观点和可信度的代理人。”

为什么这种技术要被设计成这样呢？为什么要让用户相信机器人有意图？

一些公司掌控了被普华永道称为“市值达15.7万亿美元的变革性行业”的产业。这些公司雇用或资助了大量了解如何制作 LLM 的学者。这导致了很少有人具备专业知识和权威说：“等一下，为什么这些公司模糊了人类和语言模型之间的区别？这是我们想要的吗？”，Bender在发问。

她拒绝了一名亚马逊的招聘人员，她天生谨慎，也很有自信和意志力。“我们呼吁该领域认识到，逼真地模仿人类的应用程序具有带来极端危害的风险。”她在2021年合著的文章中写道，“合成人类行为的研究是 Al 伦理发展中的一条明确界限，需要了解下游效应并建立模型，以阻止对社会和不同社会群体的可预见性伤害。”

换句话说，那些让我们很容易将其与人类混淆的聊天机器人不仅仅是“可爱”或“让人不安”的存在，它们站在明显的界线上。模糊这条界线——混淆人与非人的界限，胡说八道，具有破坏社会的能力。

语言学并不是一种简单的享受。即使是 Bender 的父亲告诉我，“我不知道她在说什么。晦涩的语言数学模型？我不知道那是什么。”但是语言 —— 它是如何生成的，它的意义是什么 —— 即将变得非常有争议。我们已经被我们拥有的聊天机器人所迷惑。即将到来的技术将会更加普及、强大和不稳定。Bender 认为，一个谨慎的公民可能会选择知道它是如何工作的。

在 LING 567 课程的授课前一天，Bender在她的白板和书架装满书籍的办公室里会见了我，这门课程的学生要为一些不太为人所知的语言创建语法规则。

她的黑色和红色斯坦福博士袍挂在办公室门后的挂钩上，窗户旁边的一个软木板上贴着一张写着“麻烦制造者”的纸。她从书架上拿下一本1860页的《剑桥英语语法》，她说如果你对这本书感到兴奋，你就是一名语言学家。

在高中时期，她宣称自己想要学会和地球上的每一个人交谈。1992年春季，她在加州大学伯克利分校的大一课程中注册了她的第一门语言学课程。有一天，为了“研究”，她给当时的男友（现在是她的丈夫）计算机科学家 Vijay Menon 打电话，用与平时称呼“亲爱的”相同的语调说“你这个蠢货，你好”。他花了一点时间才从韵律中理解出意义，但他认为这个实验很可爱（虽然有点讨厌）。

我们已经学会了制造“可以毫不费力地生成文本的机器”。但我们还没有学会如何停止想象它背后的思维。

随着 Bender 在语言学领域的成长，计算机也在同步发展。1993年，她同时修了词法学导论和编程导论的课程。（词法学是一门研究单词如何由词根、前缀等组成的学问。）有一天，当她的助教讲解了班图语的语法分析时， Bender 决定试着为此编写一个程序，当时她在校园附近的一家酒吧里，在Menon看篮球比赛的时候，她用纸笔手写了程序。回到宿舍后，当她输入代码，程序奏效了。于是她打印出程序并带给助教看，但他只是耸了耸肩。

“如果我当时把程序展示给一个懂计算语言学的人，”本德尔说，“他们就会说，‘嘿，这是一个好东西。’”

在获得斯坦福大学语言学博士学位后的几年里，Bender 保持着一只手在学术界，一只手在工业界。她在伯克利和斯坦福教授语法，并在一家名为 YY Technologies 的初创公司从事语法工程工作。2003年，华盛顿大学聘请了她，并在2005年开设了计算语言学硕士课程。Bender 进入计算语言学领域的道路是基于一个看似显而易见，但并不被自然语言处理同行普遍认同的想法 —— 语言是建立在“人与人交流，共同努力达成理解”的基础上的。

在抵达华盛顿大学后不久，Bender 开始注意到，即使在由计算语言学协会等组织主办的会议上，人们对语言学也知之甚少。于是她开始提出，如“你总想了解，但又不敢问的 —— 关于语言学100件事”的教程。

2016年，当特朗普竞选总统，并且“黑人命也是命”抗议活动充斥街头的时候，Bender 决定每天采取一些小的政治行动。她开始学习并扩大黑人女性对人工智能的批判声音，包括 Joy Buolamwini（她在麻省理工学院创立了算法公正联盟）和 Meredith Broussard（《人工非智能：计算机如何误解世界》的作者）。

她还公开挑战了“人工智能”这个术语。作为一个身处男性领域的中年女性，这无疑是让处于了一个容易被攻击的境地。“智能”的概念具有一个白人至上主义的历史。

此外，“智能”按什么定义？霍华德·加德纳的多元智力理论？还是斯坦福-比奈的智力量表？Bender 特别喜欢一位前意大利议员提出的“人工智能”替代名称 —— 系统化学习算法和机器推理（ Systematic Approaches to Learning Algorithms and Machine Inferences ）。然后人们会问：“这个 SALAMI 聪明吗？这个 SALAMI 能写小说吗？这个SALAMI 是否应该享有人权？”

2019年，她在一次会议上举手发言，问道：“你在用哪种语言进行研究？”这个问题针对那些没有明确说明语言种类的论文，尽管每个人都知道那是英语。（在语言学中，这被称为“威胁面子的问题”，这个术语来自于语言学礼貌研究。它意味着你很粗鲁，正在恼人，或者将会恼人，同时你的语言会同时降低你与你对话人的地位。）

在语言的形式中承载着一个错综复杂的价值网络。"总是为你所使用的语言命名"，现在被称为“Bender Rule”。

科技制造者假设他们的现实准确地代表世界，这会导致许多不同的问题。

据信，ChatGPT的训练数据包括维基百科的大部分或全部内容、从 Reddit 链接的页面，以及从互联网上获取的10亿个单词。（它不能包括斯坦福图书馆中的所有电子书副本，因为图书受版权法保护。）

撰写这些在线文字的人们过度代表了白人、男性和富人。此外，我们都知道互联网上存在着大量的种族主义、性别歧视、恐同主义、伊斯兰恐惧症、新纳粹主义等问题。

科技公司确实会花一些功夫来清理它们的模型，通常是由过滤掉包含“脏话、淫秽、下流”等400个左右，甚至更多的不良词汇列表中词语语音块来实现。

该列表最初由 Shutterstock 的开发人员编制，然后上传到 GitHub 上，以自动化解决“我们不想让人们查看什么？”的问题。OpenAI还外包了所谓的幽灵劳动力：包括一些肯尼亚兼职工人（一个曾经的英国殖民地，人们说英式英语），他们每小时赚取2美元，阅读并标记最可怕的内容 —— 恋童癖、兽交等等，以便将其清除。

但过滤也会带来自己的问题。如果你删除了关于性的词语内容，你就会失去关于这个群体的声音。

许多业内人士不想冒风险说话。一名被解雇的谷歌员工告诉我，在科技领域取得成功取决于“对一切令人不安的事保持沉默。”否则，你就成了问题。

Bender 毫不畏惧，并感到一种道德责任感。她写信给一些支持她发出抗议声音的同事说：“我的意思是，毕竟，终身职位是用来干什么的？”

“章鱼”不是 Bender 简历上最著名的假想动物，还有一个“随机鹦鹉”。

“Stochastic”意味着随机的，由随机概率分布决定的。“随机鹦鹉”（由 Bender 的创造词汇）指：用随机概率信息将语言形式的序列随意拼接在一起的实体，但不涉及任何涵义。2021年3月，Bender 与三位合著者发表了论文—— 随机鹦鹉的危险：语言模型是否太大？（On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? ）。在论文发表后，两位女性合著者，失去了谷歌道德人工智能团队的联合领导职位。围绕此事的争议巩固了 Bender 在反对人工智能狂热主义方面的地位。

“On the Dangers of Stochastic Parrots”不是一篇原创研究的写作。它是 Bender 和其他人提出的对语言模型的综合批判：包括编码在模型中的偏见；鉴于训练数据可能包含数十亿个单词，研究其内容几乎是不可能的；对气候的影响；以及构建冻结语言并因此锁定过去问题的技术问题。

Google最初批准了这篇论文，这是员工发表论文所必需的条件。然后它撤回了批准，并告诉 Google 合著者将自己的名字从论文中去掉。一些人照做了，但 Google AI 伦理学家 Timnit Gebru 拒绝了。她的同事（也是 Bender 的前学生）Margaret Mitchell 将她的名字改成了 Shmargaret Shmitchell，意在“索引一件事情和一个被抹掉的作者组”。Gebru 在 2020 年 12 月失去了工作，Mitchell 在 2021 年 2 月失去了工作。两位女性认为这是报复，并向媒体讲述了自己的故事。

随着这篇“随机鹦鹉”的论文逐渐走红，至少在学术界，它成为了一个流行词汇。这个短语也进入了技术词汇表。但是它并没有以 Bender 期待的方式进入词汇表。技术高管们喜欢这个词，程序员们也喜欢。

OpenAI 的CEO  Sam Altman 在许多方面是一个完美听众 —— 一个自认为的超理性主义者，过于融入技术泡沫，似乎已经失去了对外部世界的视角。在 11 月的 AngelList Confidential 上，他说：“我认为，再怎么说，核能将给所有人带来不可避免的毁灭——它的“首秀”（译注：可能指美国二战时在日本投下核弹）并不是一件好事” 。他也是所谓的“奇点”信徒，即很多科技狂热者相信，在不久的将来，人类和机器之间的区别将会消失。

在2017年，谈到关于机器人融合的问题，Altman 说到：“我们已经进行了几年了。它可能比大多数人想象的要早。硬件正以指数级别提高……而致力于 AI 研究的人数也在以指数级别增加。双指数函数（的增速）会很快让你失去掌控感。”

在 ChatGPT 发布四天后的12月4日，Altman 发推文：“我是一个随机鹦鹉，你也是。”

这是一个令人振奋的时刻。在发布的五天内就有一百万人注册使用 ChatGPT。写作已经结束了！知识工作也结束了！这一切将会走向何方？“我的意思是，我认为最好的情况竟是如此的好，好到难以想象！” Altman 上个月在 StrictlyVC 活动中对他的同行说道，那噩梦般的情景呢？“坏情况，我认为也很重要，就像我们所有人都黑屏了。” Altman 说他“更担心短期内的意外误用情况... 不是像 AI 醒来就决定要做恶。”

他没有定义“accidental-misuse case”，但这个术语通常是指坏人使用人工智能达到反社会的目的，比如欺骗我们，这可以说是这种技术的设计目的之一。并不是 Altman 想要承担任何个人责任，他只是承认“误用”会是“非常糟糕”的。

Bender 并不认为 Altman 的“随机鹦鹉”有趣。

我们不是鹦鹉，我们不仅仅是基于概率，随机地喷出词语。她说，“这是一个非常常见的策略。人们说，‘人们只是随机的鹦鹉’。”她说，“人们非常想相信这些语言模型实际上是聪明的，他们愿意以自己作为参考点，并贬低自己的价值以匹配语言模型可以做到。”

有些人似乎愿意将存在的事物与技术能做到的事情相匹配，语言学的基本原则也是如此。Bender 目前的对手是计算语言学家 Christopher Manning，他认为语言不需要指向外部世界。Manning 是斯坦福大学的机器学习、语言学和计算机科学教授。他所教授的自然语言处理课程从2000年的约40名学生增长到去年的500人，到今年的650人，成为校园中最大的课程之一。他还担任斯坦福人工智能实验室的主任，并是 AIX Ventures 的合作伙伴，后者定义自己为“专注于人工智能种子阶段的风险投资公司”。学术界和工业界之间的膜层几乎随处可见斯，可坦福，这层膜层几乎不存在，这所学校与科技公司纠缠在一起，很难分辨学校和企业的界限。

“我应该仔细选择自己的中间立场。”，Manning 在2月下旬说到，“强大的计算机科学和人工智能学校最终会与大型科技公司建立紧密的关系”。Bender 和 Manning 最大的分歧在于意义是如何创建的，这也是章鱼论文的主要内容。

直到最近，哲学家和语言学家一致认为 Bender 的看法是正确的：需要有指示物，即那些实际存在于世界上的事物和概念，如椰子和心碎，才能产生意义。

而 Manning 现在认为这个观点已经过时，认为这是“20世纪语言哲学的标准立场”。“我不会说这在语义学上完全无效，但它也是一个狭窄的立场，”他告诉我。他主张“更广泛的意义”。在最近的一篇论文中，他提出了“分布式语义学”一词：“一个词的意义只是它出现的上下文的描述。”（可是当我问 Manning 如何定义“意义”时，他说：“说实话，我认为这很困难。”）如果一个人认同分布语义学理论，那么 LLM（大型语言模型）就不是章鱼，随机鹦鹉也不仅仅是愚蠢地吐出词语，我们也不需要陷入到“意义映射到世界”这一个过时的思维方式。

LLM 处理数十亿个单词。这项技术迎来了他所说的 “一个相位转移（a phase shift）”。Manning 说：“你知道，人类发现了金属加工技术，令人惊叹，然而过了几百年，人类又学会了如何利用蒸汽动力。我们在语言方面也处于类似的时刻。LLM 足够革命性，可以改变我们对语言本身的理解。”，他说：“对我来说，这不是一个非常正式的论点。这只是一种显现，只是突然降临。”

2022年7月，一次大型计算语言学会议的组织者将 Bender 和 Manning 放在同一个小桌子上，让现场听众可以聆听他们（有礼貌地）争辩。他们坐在一个覆盖着黑色布料的小桌子前，Bender 穿着紫色毛衣，Manning  穿着三文鱼色衬衫，他们轮流拿着麦克风回答问题并回应对方，说着“我先说！”，和“我不同意！”。他们不断争吵，先是关于孩子如何学习语言的问题。Bender 认为他们是在与看护人建立关系中学习的；曼宁则说学习是像 LLM 一样“自我监督”的。

接下来，他们争论的是沟通本身的重要性。在这里，Bender 引用维特根斯坦的话，并将语言定义为本质上是关系性的，即“至少是一对交谈者共同关注，以达成某种协议或近似协议”，曼宁并不完全认同。是的，她承认人类确实通过面部表情表达情感，并通过像头部倾斜这样的肢体语言进行交流，但是这些附加信息是“边际的”。

在会议接近尾声时，他们产生了最深层次的分歧，即 —— 这不是语言学的问题，而是我们为什么要制造这些机器？它们为谁服务？

“我觉得有太多的努力试图创建自主机器，”Bender 说到，“而不是试图创建对人类有用的机器工具。”

在 Manning 参加小组讨论几周后，Bender 戴着一顶流动的蓝绿色长外套和摇晃的章鱼耳环站在多伦多的一个会议讲台上发表演讲。主题是“在人工智能时代抵制非人化”。这看起来并不像是一个特别激进的议题。Bender 将那个听起来平淡无奇的“非人化”定义为“无法完全感知另一个人的人性，以及遭受那些 —— 表现出对人性缺乏认知的行为与经历”。

随后她一个关于计算机隐喻的问题，也是所有科学中最重要的隐喻之一：即人类大脑是一台计算机，计算机是一个人类大脑。她引用了亚历克西斯·T·巴里亚（Alexis T. Baria）和基思·克罗斯（ Keith Cross）2021年的论文，这种想法为“人类心灵提供了比应有的所更少的复杂性，为计算机提供了比应有所更多的智慧”。

在 Bender 演讲后的问答环节中，一个戴着项链，身着黑色 POLO 衫的秃顶男子走到麦克风前，阐述了他的担忧，“是的，我想问的问题是，为什么你选择人性化和人类的这种类别，作为你汇集所有这些不同想法的框架。”，这个人并不认为人类是特别的，他说：“听你的演讲，我不禁想，你知道，有些人真的很糟糕，所以被与他们归为一类并不是那么好。我们是同一种物种，同一种生物类，但谁在乎呢？我的狗挺好的。我很高兴和我的狗被归为一类。”

他想要区分“在生物范畴上的一个人类”，和“一个在道德上值得尊重的人类，或单位”。他承认，LLM 并不是人类，至少现在还不是，但技术正在变得越来越好。他问道：“我想知道，为什么你选择将人类或人性作为思考这些不同事物的框架设备，你能多讲一些吗？”

Bender 微微向右倾斜，咬着嘴唇倾听着。她能说些什么呢？她从第一原理进行了辩论。“我认为任何一个人只因为他是人类就应该得到一定的道德尊重。”，她说，“我们看到很多当前世界上的问题都与未将人性授予人类有关。”，而那个人并不买账，继续说道，“如果我可以很快地说一下，也许百分之百的人都值得得到一定程度上的道德尊重，而这是不是因为他们作为人类这一物种存在的意义”

许多科技圈外的人也提出了这一观点。生态学家和动物人格权倡导者认为，我们应该放弃认为自己在种类上如此重要的想法。我们需要更加谦虚地生活。我们需要接受我们是其他生物中的一种，是物质中的一种。树木、河流、鲸鱼、原子、矿物质、星球 —— 一切都很重要，我们在这里不是老板。

但从语言模型，到存在危机的路程确实很短。

1966年，创造了第一个聊天机器人 ELIZA 的约瑟夫·魏岑鲍姆（Joseph Weizenbaum）在之后的大部分时间里都为此感到后悔。他在《计算机能力与人类理性》（Computer Power and Human Reason）一书中写道，这项技术引发的问题，“基本上是关于人类在宇宙中的位置问题”。

这些玩具很有趣、迷人且令人上瘾，他在47年前就相信这会是我们的毁灭：“难怪那些与相信自己是奴隶的机器日复一日生活在一起的人们也开始相信——自己是机器。”

气候危机的影响不言而喻。几十年前，我们就知道了危险，但在资本主义和少数人的欲望的推动下，我们仍然继续前行。谁不想在周末飞往巴黎或夏威夷，尤其是当全世界最好的公关团队告诉你这是生活的终极奖励时？

创建模仿人类的技术需要我们非常清楚地了解我们是谁。

“从现在开始，安全地使用人工智能需要使人类条件不再神秘化，”柏林赫尔廷学院（Hertie School of Governance）道德与技术教授乔安娜·布赖森（Joanna Bryson）去年写道，如果我们变得更高，就不会认为自己更像长颈鹿。所以为什么要对智能模糊不清？

其他人，如哲学家丹尼特，则更加直接。他称，我们不能生活在一个有所谓“伪造人”的世界。

“自从货币存在以来，伪造货币一直被视为针对社会的破坏行为。惩罚包括死刑和四分五裂。而制造伪造人至少同样严重。”他补充说，人造人总是比真人少了更多的利益，这使得它们成为无道德行为者：“不是出于形而上学的原因，而是出于简单的物理原因 —— 它们有种永生的感觉。”

丹尼特认为，技术的创造者需要严格的责任制，“他们应该对此负责。他们应该被起诉。他们应该公开承认，如果他们制造的东西被用来制造伪造人，他们将对此负责。如果他们没有做到这一点，他们正处于创建极为严重的，对稳定和社会安全造成破坏的武器的边缘。他们应该像分子生物学家对生物战争的前景或原子物理学家对核战争的前景一样认真对待这个问题。”这是真正的危机。我们需要“建立新的态度，新的法律，迅速传播并消除那些欺骗人们、人格化的赞美”，他说。“我们需要聪明的机器，而不是人造同事。”

Bender 制定了自己的一条规则：“我不会与那些在谈话中不将我的人性作为公理的人交谈。” 不模糊界限。我原本认为自己不需要制定这样一条规则。

“AI 梦想中重新出现了一种自恋，我们将证明我们认为是独特的人类的一切，都可以被机器完成，并且完成得更好。”，UC伯克利分校的批判理论计划创始主任朱迪思·巴特勒（Judith Butler）帮助我解释了其中涉及的思想， “人类的潜力 —— 是法西斯主义的想法 —— 通过 AI 得到更充分的实现。AI 梦想被“完美主义论”所统治，这就是我们看到的一种法西斯形式。这是技术接管，从身体中逃离。”

有些人说，“是的！那不是很棒吗！”，或“那不是很有趣吗？！”，让我们克服我们浪漫的想法，我们的人类中心主义、理想主义，巴特勒补充道，“但是我的言语中生活着什么，我的情感中生活着什么，我的爱情，我的语言中生活着什么，这个问题被掩盖了。”

在 Bender 向我介绍了语言学基础的第二天，我参加了她与学生每周一次的会议。他们都在攻读计算语言学学位，他们都看到了正在发生的事情。有那么多可能性，那么多力量。我们将用它来做什么？

“关键是创建一个易于接口的工具，因为你可以使用自然语言。而不是试图让它看起来像一个人。”，伊丽莎白·康拉德（Elizabeth Conrad）说。

原文链接：https://nymag.com/intelligencer/article/ai-artificial-intelligence-chatbots-emily-m-bender.html

更多内容，点击下方关注：