AI时代的“电车困境”：对自动驾驶汽车的道德追问

文｜胡泳

       北京大学新闻与传播学院教授

4月26日，在山西省运城市高速公路上发生问界M7 PLUS追尾事故，造成前机舱起火，包括驾驶员在内的三人遇难，其中还有一个刚满两周岁的孩子。

据悉，事故疑与AEB制动系统有关，系车企重点宣传的驾驶安全技术之一，据称可以通过雷达测出与前方车辆或障碍物之间的距离，并利用数据分析模块将测出的距离与警报距离、安全距离进行比较，小于安全距离时将自动紧急刹车或使车辆减速。

《新京报》称，这种智能化的主动安全技术，是自动驾驶系统竞争的核心技术之一。因此，各家车企、智驾技术供应商都在营销中不遗余力夸耀自家的AEB如何先进可靠。事实上，AEB功能成为不少用户挑选汽车的原因。

受当前智能电动汽车激烈竞争的驱使，智能驾驶功能的安全性被普遍夸大，很多消费者并不清楚，今天实装的智能驾驶系统都并非真正意义上的“自动驾驶系统”，而只是“辅助驾驶系统”。

我国目前执行的《汽车驾驶自动化分级》参照了国际通行的SAE标准，将智能驾驶系统划分为0-5级。

1级为“部分驾驶辅助”；

2级为“组合驾驶辅助”；

3级才达到“有条件自动驾驶”；

4级为“高级自动驾驶”；

5级为“完全自动驾驶”。

目前实装的系统均为2级，然而，在营销中，“自动驾驶”的宣传却司空见惯。

L2级智能驾驶下事故责任人在驾驶员，所以，如果车主相信了车企鼓吹的智驾功能，出了事以后，车企能够轻松逃避责任。此前发生的多起相关事故，都曾引发对智驾系统安全性能的质疑，但最终的结论，都是车出事与智驾系统无关。

惨烈的事故，让智驾的可行性和安全性再次被重估，对于AEB和智驾系统的“神化”显然不可取，而且引发了严重的道德问题。在技术尚未完全成熟的状态下，过度信赖自动驾驶是有风险的。

因此，我们有必要追问，当智能驾驶技术发展水平还只处于起步阶段之际，政府、车企和公众应当对此持什么样的态度？

▲ 图源Pexels

英国哲学家菲丽帕·福特（Philippa Foot）在1967年首次提出一个伦理学思想实验，内容为：

一辆失控的电车在铁轨上行驶，在电车正行进的轨道上，有五个人被绑起来，无法动弹，如果任由电车向前，那五个人必将罹难。而你正站在改变电车轨道的操纵杆旁。如果扳动此杆，则电车将切换到另一条轨道，但在那条岔道上也有一个人被绑着。

因此，你有两种选择：

1）什么也不做，让列车按照正常路线行驶，碾压五个人；

2）扳动操纵杆，改换另一条轨道，令列车只压过一个人。

到21世纪，电车难题及其变体已广泛用于道德心理学的研究。在讨论自动驾驶汽车设计的道德规范时也有类似问题：在不可避免的汽车碰撞中，自动驾驶系统该如何选择前进的方向或碰撞的目标。

一个知名的变体叫“人行天桥困境”。一辆电车疾驰而过，前面的铁轨上绑着五个人，而你正站在横跨铁轨正上方的天桥上。你的前面有一位铁路工人，背着一个双肩大包。你可以将他推下天桥以阻挡住列车的运行，从而营救那五个人，不过这位铁路工人会遇难。

如果说第一种情形的难题在于，你是扳还是不扳？那么第二种情形的难题则是，你是推还是不推？你不能选择自己跳下天桥，因为你没有双肩大包，无法挡住小火车，你也没有再背一个包的时间。

由上可知，电车问题并非一个单纯的思想实验，其中诸多细节其实都是精心设计，用以挑拨能影响我们决策的情绪与感性因素，借此反驳多数理论中“理性决策者”（rational agent）的基本假设。这涉及情与理之争，这里的“情与理”，是世俗所谓的激情与理智；是伦理学所谓的情感与理性；是心理学所谓的情绪与认知；某种程度上, 也代表着道德心理学所谓的道德直觉与道德推理。

对电车问题，伦理学家们有着自己的信条。

秉持义务论（deontology）的哲学家们认为虽然能救五个人的命，但我们无论如何都不应该杀死那一个本不该死的人；

而秉持结果论（consequentialism）的哲学家们则坚持，在行为后果上杀一个人能救五个人，这样的事情就应该做。

根本上来说，结果主义主张判别行为好坏或是非的标准，依该行为所（或是否可能、或是否意图）产生的结果而定，如果一个行为能（或可能、或意图）产生好的结果，该行动就是好的，也就是道德的。功利主义是其典型代表。

义务论与结果主义相反，它主张人的行为道德与否，不是看行为的结果，而是看行为本身或行为依据的原则。凡行为本身是正确的，或行为依据的原则是正确的，则不论结果如何都是道德的。

从功利主义角度看，为追求对最大多数人来说的最大效益，应该牺牲少数人来拯救多数人。因此，在上述两个版本的思想实验中，都应牺牲一个人来拯救五个人。

从康德主义角度看，道德应该建立在必要的义务责任上。如果不可以杀人是一种道德义务，就不可以在上述两个版本的思想实验中动手让一个人牺牲，即使这个行为的后果是牺牲五个人。

▲ 图源Pixabay

对功利主义最常见的诟病就是对人类权利的低估，因为功利主义允许我们不考虑后果，对他人做出完全错误的行为。康德的绝对命令，将这个概念总结如下：

在行动时，要把你人格中的人性和其他人人格中的人性，在任何时候都看作目的，永远不能将其只看作手段。

粗略翻译成常识性的行为准则，意思就是：不要利用他人。而利用他人阻挡火车，已经是最为极端的情况了。

但很奇特的是，如果对普通人进行电车难题测试，同样是杀死一个人来救 五个人，在前一种情形下，大多数人选择了扳，而在后一种情形下，大多数人选择了不推。

归根结底，电车问题是一个决策问题。直觉告诉我们，人行天桥困境中的行为是错误的。那么，大脑的何种机制使我们得出了这样的结论呢？电车问题体现了人类古怪的心理：用截然不同的态度对待相似的事情。一命换五命的做法在一个例子里是正确的，在另一个例子里就变成了错误的。

要解释这些情形的道德差别并非易事——为什么使电车拐向岔道似乎是对的，而将人从桥上推下就是错的呢？某些道德困境源于相互冲突的道德原则。例如，一种在失控电车故事中起作用的原则认为，我们应当尽可能多地挽救生命；而另一种原则则认为，即使有一个很好的理由，杀害一个无辜的人也是不对的。

所以，电车问题的本质可以归纳如下：在何种情况下，个人权利高于多数人的利益？为什么？

约书亚·格林（Joshua D. Greene）说：

“很多主要道德问题，包括堕胎、平权措施、税收的高低、战争中平民的死亡、将人们送上战场、医疗服务中资源的分配、枪支管理、死刑等，或多或少都是个人权利（不论是真实的还是名义上的）与多数人利益（不论是真实的还是名义上的）之间的对抗。”

迈克尔·桑德尔（Michael Sandel）在《公正》一书中分析道：在每一种情形中，我们都要对何谓正当之举做出判断，这牵涉到道德推理。

“我们有时候将道德推理看做是说服他人的一种途径，然而，它同时也是一种澄清我们自身的道德信念，了解自己相信什么、以及为何如此的途径。”

他说，当人们面对一个棘手的道德问题时，道德反思就会自然地产生。首先，我们对一件应该做的事——比如，将电车拐向岔道——怀有自己的观点或信念。

然后，我们会开始思考那些支持自己信念的理由，并找出它们所依据的原则：“牺牲一个人的生命而避免更多人死亡是更好的。”

接着，当我们遇到一种能证明这种原则是不对的情形时，我们便迷惑了。“我以前认为，尽可能多地挽救生命总是正确的，而现在将那个人推落桥下似乎又是不对的。”

我们感觉到源自于这种困惑的压力，竭力想要把它弄明白。通过道德反思，我们可能调整我们对何谓正当之举的判断，或重新考虑我们最开始拥护的那个原则。

桑德尔特别强调，道德反思并不是个体的追求，而是公共的努力。它需要对话者，因为我们不可能仅仅通过内省而得出公正的意义以及最佳的生活方式。

▲ 图源Pixabay

2016年，麻省理工学院的研究人员建立了一个名为“道德机器”（moral machine）的网站，其中有一些随意而可怕的问题，即如果自动驾驶汽车在人行横道上刹车失灵时，应该做些什么：

例如，

是否应该撞倒三个慢跑者，为了挽救两个小孩？

如果是在非罪犯和罪犯之间二选一，应该选择撞死谁？

该项目是对电车问题的另类尝试，从数百万名潜在“刽子手”中获得了数千万张投票。这是一个复杂的问题，因为在人行横道上可能会出现大量的行人组合，远远超过了道德机器用户投下的数百万张选票的数量，因此，人工智能需要能够对即使没有人直接投票的方案予以考虑。但是机器学习在这种类型的预测任务上表现出色，研究者充满信心地相信，无论出现什么问题，团队开发的算法都将根植于道德机器受访者的集体道德直觉。

研究人员说：“我们并不是说该系统已准备就绪，可以进行部署。”但它是一种概念的演练，表明民主可以帮助应对人工智能中道德决策的巨大挑战。这种观点反映了人工智能研究人员越来越关注训练算法，通过为机器提供普通人的道德判断来做出道德决策。

杜克大学的一个研究小组发表了一篇论文，认为随着人工智能变得更加广泛和自主，创建一个描述如何做出道德决策的“总体框架”将是非常重要的。机器学习系统聚合人群的道德观点，是一个有前途的研究途径。事实上，他们写道，这样“可能会导致一个比任何个人都更道德的系统”。

这种众包的道德观念也吸引了批评家，他们指出了各种局限性。

存在抽样偏差：不同的群体可以提供不同的道德准则；

而道德机器调查是在线进行的，这意味着它只是权衡了作出自我选择的一群人的意见，这些人既可以访问互联网又对杀手级AI感兴趣。

此外，不同的算法也可能在检查了相同的数据之后得出不同的结论。

自然的伪善也可能导致该概念的另一个潜在缺陷。麻省理工学院的研究者在先前的研究中发现，尽管大多数人赞成无人驾驶汽车牺牲自己的乘员以挽救他人，但他们宁愿自己不在这些汽车里。

研究团队承认这些局限。但是他们声称，研究取决于“你是否相信民主是实现这一目标的正确方法”。民主虽有缺陷，但民主还是值得信任的。 

到目前为止，我们在众包其他类型的数据方面已经拥有丰富的经验。在社交媒体上，算法依赖于数以百万计的真实用户生成的信号，就像AI道德一样，但产出的东西仍然可能是垃圾。算法依赖于数以百万计的真实用户生成的信号，就一定会好吗？

各国政府已经开始努力制定有关将要出现的自动驾驶汽车道德问题的具体法律。德国发布了世界上有关自动驾驶汽车AI的第一个道德准则，该准则要求车辆优先考虑人类的生命而不是动物的生命，并禁止它们根据年龄、性别或残障状况做出有关人类安全的决定。这些准则尤其会排除像“道德机器”那样的人工智能，后者在决定救谁的命时会考虑此类特征。

可以看一下道德机器在一系列从简单到复杂的场景中致人死命的答案。它的一些答案很直观。如果选择归结为撞死一个人或两个人，它将选择仅撞死一个人。在其他时候，它的答案似乎对社会的不公平有着深刻的反映。例如，

如果AI必须杀死犯罪分子或非犯罪分子，那么它将杀死犯罪分子。

如果它必须杀死一个无家可归的人或一个不能无家可归的人，它将杀死无家可归的人。

经过四年的研究，233个国家的数百万人做出了4000万个决定，使“道德机器”成为有史以来对全球道德偏好进行的最大研究之一。一种特定的“电车难题”被创造出来以测试人们的意见。

它把人们放在高速公路上，然后在路上遇到不同的人。你应该取哪条命来保全其他人的生命？

汽车被置于九种不同的情况下：

自动驾驶汽车是否应该优先考虑人类而不是宠物，乘客而不是行人，更多的生命而不是更少的生命，女性而不是男性，年轻的而不是年老的，健康的而不是生病的，社会地位高的而不是社会地位低的，遵守法律的而不是违法的？最后，汽车是应该转向（采取行动）还是继续行驶（不采取行动）？

但是，研究人员强调说，结果并不旨在决定不同国家应如何采取行动。实际上，在某些情况下，研究者认为技术人员和政策制定者应凌驾于集体舆论之上。调查结果应被工业界和政府用作理解公众如何对不同设计和政策决定的道德准则做出反应的基础。

▲ 图源Pixabay

2018年3月18日，在亚利桑那州坦佩市，Uber一辆在执行自动驾驶实验的车撞死了49岁的伊莱恩·赫茨伯格（Elaine Hertzberg），一名推着自行车穿过马路的行人。当时该车在自动驾驶模式下操作，并有一个保障安全的后备驾驶员坐在驾驶座上。赫兹伯格事故是第一起自动驾驶汽车涉及的行人死亡。

《华盛顿邮报》的一名记者将赫兹伯格的命运与布里奇特·德里斯科尔（Bridget Driscoll）的命运进行了比较。后者是1896年在英国第一个被汽车撞死的行人。

在赫兹伯格事故之后，Uber停止了在四个美国和加拿大城市（坦佩，旧金山，匹兹堡和多伦多）测试自动驾驶汽车的部署。亚利桑那州州长向优步首席执行官发送了一封信，暂停了优步在该州操作无人驾驶汽车的测试，这样的测试从2016年起就在进行。

信中说：

“作为州长，我的首要任务是公共安全。改善公共安全一直是亚利桑那州进行自动驾驶汽车测试的重点，我期望公共安全也是所有从事此工作的人的头等大事。”

优步还披露，在加利福尼亚，汽车管理部门致函优步，其许可将在3月31日到期之后，不会同优步续签。

当年晚些时候，Uber发表了一份长达70页的反思性安全报告，其中指出其自动驾驶汽车具备比人类驾驶的汽车更安全的潜力。2018年12月20日，在匹兹堡，优步将自动驾驶汽车重新送回了路上，表示已获得宾夕法尼亚州交通部门的授权。优步表示，他们也在旧金山和多伦多的公路上试验自动驾驶汽车。

按照功利主义的态度，该如何看待此事？美国每年有数千名名行人被汽车撞死，新闻媒体并没有对每一位遇难者进行例外报道。如果获批的话，很快，自动驾驶汽车将可以大幅减少甚至完全消除人行道死亡。

如果你将这个想法用电车难题来表达，那么轨道将是时间性的而不是空间性的。一个人之死仍然是一场悲剧，但是如果这意味着未来在预防数千人死亡方面取得进展，那么自动驾驶汽车也许是正当的。

如果技术主义者、公民和政策制定者真正想要就电车难题的人工智能版来讨论道德哲学，那么最好将Uber的灾难视为一个道德运气的例子。道德运气描述了一种情况，即使人人都清楚某个道德行为者不能够完全控制某项行为或其后果，也要对该项行为或其后果进行道德责备或赞扬。

从这个角度来看，Uber造成的死亡并不代表某位单个行人可以被牺牲，出发点是为了在未来普遍部署的机器人汽车中确保行人的安全。其实事故本身不过是强调了一个事实，即积极的结果（更安全的汽车，更安全的行人等等）不过只是无人驾驶汽车的道德运气，即到目前为止，它还没有犯下多少应受谴责的行为。那么，假如它造成了更多车祸，该怎么办？

我提到以上的讨论，并在本文开头反思问界的悲剧性事故，是为了表明，无论现在还是将来，应对和解决自动驾驶汽车问题都需要更大的道德修为。

道德规范不是在任何情况下都应用简单的演算，也不是将人类意见汇聚起来做成模型，再将那个模型应用于实例。

实际上，采取这些立场是从一开始就承认了功利主义的前提。如果工程师、评论家、新闻工作者或普通百姓将电车难题作为一种（哪怕只是便捷的）思考方式来思考自动驾驶汽车的场景时，他们等于是拒绝考虑使用这些设备的更为复杂的道德状况。

从问界的事故来看，相关各方似乎都没有充分了解车辆当前（而非未来）的伤害能力，无论是制造汽车的公司、驾驶汽车的司机，还是监管汽车的政府。这使得问界事故的道德背景与其说是关于交通伤亡的未来，不如说是关于政府监管、企业信息披露和交通政策的现状。

对于哲学家来说，思想实验提供了一种考虑未知结果或重新思考公认的观念的方法。但是它们只是思考的工具，而不是现成行动的配方。尤其是电车难题的诱人普及，使人们误认为自动驾驶汽车是一种已经存在的可靠且同质的技术，从而可以以之提出甚至回答有关假设的道德行为的抽象问题。其实，距离那一步还有很长的路要走。

在当下，公民、政府、汽车制造商和科技公司必须就当今和未来的汽车道德后果提出更棘手、更复杂的问题。

* 所刊专家文章并不代表本中心观点。

* 部分图片来源于网络，如有侵权，请联系我们删除。

【欢迎转载】

请注明“来源：数字社会发展与研究”。

 数字社会发展研究中心 

专注于数字技术发展及相应经济、社会、人文领域的新现象，新问题的公共性观察和研究。