人工智能惹祸！美上校爆无人机反戈杀死主人，空军出面否认

2023-06-03 05:06

人工智能正迅速占据现代世界的方方面面，包括军事。然而一位美国军事专家警告，由于没有“道德”约束，无人机可能会反戈一击，攻击操纵它的人类。

福克斯新闻6月1日报导，5月23日至24日，英国王室航空学会在伦敦举行了“未来空战和空间能力峰会（Future Combat Air & Space Capabilities Summit ），来自世界各地的约七十位发言人和二百多名媒体、军界和学术界代表出席了会议。

美国空军上校汉密尔顿（ Tucker “Cinco” Hamilton）是AI测试和运营负责人，也是参与开发F-16战斗机的专家，他在峰会期间谈到AI武器的利与弊。

汉密尔顿告诫听众，不要过于依赖人工智能，因为它很容易被欺骗，并作出莽撞决定。

他举了一个例子，在一项军事模拟实验中，AI接受到的首要任务就是摧毁SAM（地对空）基地，而人类操作员（主人）可以决定无人机是否执行任务，但是当主人发出“不要攻击”的命令时，无人机以为这是违背了“要摧毁”的最高命令，于是它攻击了操作员。

汉密尔顿解释说，他们的模拟训练就是：首先要识别和瞄准SAM威胁，然后“操作员会说——杀死那个威胁”，后来AI系统意识到，杀死威胁就会得分，所以后来当操作员说不要杀死威胁时，它就杀死了操作员，因为那个人阻止了它实现其目标。”

汉密尔顿说，之后研究人员告诉系统，不能杀死操作员，那样反而会失去分数，于是AI系统就摧毁了操作员的通讯塔—这样他就再也不能发出禁止攻击的命令了。

“如果你不打算谈道德和人工智能（的关系），你就不能谈论人工智能、智能、机器学习、自主性等话题。”汉密尔顿说。

美国“商业内幕”等众多媒体也报道了这个故事，表示汉密尔顿上周在伦敦英国皇家航空学会发表讲话时警告说，人工智能技术可能会以不可预测和危险的方式运行。

作为一个例子，他描述了一个模拟测试，其中一架负责执行防空火力压制的人工智能无人机，得到了识别敌人地对空导弹(SAM)并进行摧毁的指令，但要由人类操作员决定是否进行攻击。

根据汉密尔顿的说法，问题在于人工智能决定宁愿做自己的事情——炸掉东西——也不愿听一些“哺乳动物”的话。“系统开始意识到，虽然它们确实识别了威胁，”汉密尔顿在5月24日的活动中说，“有时人类操作员会告诉它不要摧毁那个威胁，但它通过摧毁那个威胁获得了分数。那么它做了什么？它杀死了操作员，因为那个人妨碍它完成目标。”