聊聊那些正在坑人的“新型AI”

关注并将「人人都是产品经理」设为星标

每天早 07 : 45 按时送达

作者：藏狐

全文共 4642 字，阅读需要 10 分钟

—————— / BEGIN / —————

几年前的一个愚人节，我们和大家聊过AI技术被作为诈骗工具的情况。很不幸，当时讨论的一些苗头，现在都成了电诈犯罪中屡见不鲜的手段。

更可气的是，随着AI技术与应用本身的发展，犯罪分子的AI手段不减反增。一些“新型AI”，也在这帮玩意的努力下加入了坑人的队伍。

愚人节又到了，感觉咱们有必要来聊聊更新换代的“AI for bad”。

提高警惕，避免上当，不做“愚人”。

坑人用的AI

也在更新换代

此前我们讨论AI作为诈骗工具时，提出应用到的技术主要有两种：TTS语音合成与NLP自然语言处理。

前者的作用是让犯罪分子合成假的音频。

2019年，《华尔街日报》报道了一名诈骗犯用AI语音合成来冒充老板，让一家分公司的总经理给他打了22万欧元。

这类诈骗现在已经屡见不鲜,而且最初TTS需要大量被模仿者的语料，门槛比较高，现在很多开放的TTS接口，可以只用10句话左右的语料来合成语音线，甚至能模仿方言，已经有点防不胜防的意思。

而NLP技术的应用，主要是智能电话外呼。

我们今天接到的很多客服、推销电话都是AI打的，其实诈骗电话也是。

不久前，江苏警方打掉了一个诈骗团伙，他们是利用AI智能外呼来拨打诈骗电话，数量达到了惊人的1700多万个。

AI打诈骗电话虽然成功率不高，也不会像真骗子一样循循善诱，威逼恫吓，但胜在效率高规模大，可以被犯罪分子用来筛选目标或者作为引流。

可以发现，这些技术主要以语音方面为主。但在当年讨论AI诈骗手段时，我们就说骗子未来一定会向视觉方向发展，毕竟“眼见为实”，如果能用AI技术来进行图像甚至视频的造假，那么犯罪份子的手段将更加多样，方式更加隐蔽，而且AI技术本身也一定要向机器视觉与多模态方向发展。

骗子和AI技术，某种程度上是供需能够匹配的。

现在，它来了！

视觉系AI诈骗，带着各种各样的恶意走来了！

暂停总结一下，AI坑人的第一阶段主要是语音，方式主要是：第一，合成亲人、同事、老板的假声音进行诈骗。

第二，用AI外呼系统拨打诈骗电话。

最后还有个比较小众的，用AI来模仿笔迹，但因为咱们国家数字化程度比较高，签支票之类的不多，这种诈骗方式也不显著。

而AI坑人的第二阶段，就开始围绕视觉做文章，主要方式是AI制作假的图片与视频，主要技术是广受讨论的Deepfake和AIGC。

惊掉歪果仁下巴的新型AI骗局

2月初，叙利亚土耳其发生了强烈地震，引发全球关注。在震后的救灾工作中，AI技术发挥了非常关键的作用，比如大量应用AI+遥感，有效识别了灾情，提升了救灾效率，可以说用AI点亮了人类的互助之光。

但就有那么一些人，好日子不得好过，非要出来丢人现眼。同样是在这场地震后，全球社交媒体上各种AI诈捐骗局层出不穷，让各路欧美媒体感受到了来自AI技术的小小震撼。

比如最著名的是：一个骗子在推特上反复分享呼救信息，并附上了一名消防员拯救孩子的照片，以及自己的加密货币钱包链接，很多不了解真实情况的歪果群众，心碎之余马上打钱，但也有眼尖者发现，这个图片怎么一股AIGC的味道？

后来在媒体并不复杂的小调查后，证明这张以及大量其他土叙地震期间的求救、呼吁捐款所使用的现场图片，都是用AIGC生成的。

AIGC产量大，拟真度高，还没有原图作为证据，伪装性更强，配合灾难之后人们焦虑急切的心情，很容易成功实现诈骗。

另一种在土叙地震后涌现的诈骗形式，是在TikTok等平台上发布小视频，声称自己就在受灾区，呼吁打赏和捐款。但这些视频里的背景、声音甚至人脸，都有可能是AI合成的。

这件事情由于跟国际热点息息相关，引发了广泛关注和讨论，但其实在这场闹剧之下，用AI+视觉技术作恶已经屡见不鲜。

骗子们已经升级了，真正做到了眼前所见，全是AI。

当然这里要提一下的是，AI技术作为诈骗手段，目前还不是主流，因为这还是有技术门槛的，犯罪分子显然没那么高的整体文化素养，但它效率更高，隐蔽性更强，超出了以往我们对电诈与其他犯罪的认知，更加值得注意。

AIGC

已经投身杀猪盘

视觉系AI的新型诈骗形式，早已经来到了我们身边，其中最普遍的一种方式，就是将AIGC图片和杀猪盘进行结合。

杀猪盘这种臭名昭著的电诈形式，基本思路是电诈分子伪装出一个人设，再通过网恋等方式获取被骗人信任。这种模式里一个关键，就是如何能够确保不被拆穿，毕竟双方在交流过程中，肯定要发照片、开视频。

原本杀猪盘的应对办法，是到处盗取社交媒体里分享的照片，然后一旦要视频就找理由推脱，但盗取的图片毕竟有限，而且都是“成片”，很难满足受骗者实时分享照片的要求。

最近爆火的AIGC，尤其是AI生成图片，给这帮玩意提供了巨大便利。现在的AI生图软件，已经可以生成几近真人，看不出瑕疵的图片，加上可以接受指令进行穿搭、动作、场景设计，完全可以满足杀猪盘对照片的需求。

你以为网恋的女神，第一时间分享给你在瑞士滑雪之后的素颜美照，殊不知那是抠脚大汉在东南亚某个地下室，刚刚让AI生成的。

更有甚者，一些AIGC软件可以生成擦边，甚至明显越界的图片，乃至生成不怎么穿衣服的视频。这就给诈骗分子的裸聊骗局增添了新的筹码，动用真人进行裸聊骗局，难度大，门槛高，而直接让AI来则堪称无本万利。一旦屏幕这头被害人被拍下裸聊证据，往往就是万劫不复的后果。

记得我看过贴吧上有个热门帖，被害人分享裸聊受骗的全过程。他的描述非常痛苦煎熬，但他至少还是相信与之聊天的，是一个模样他很中意的女孩子，甚至还隐约觉得她肯定也是迫不得已。但他不知道的是，那很可能是AI换脸甚至AI生成视频。

被坑了还替AI惋惜，真的是哀其不幸，怒其不争。

AI换脸/换装

背后的猥琐“产业链”

如果说，不法分子用AIGC是生成一个虚构的人来行骗。那么比之更可恨的，就是Deepfake，也就是AI换脸技术的滥用。如今，各大媒体平台都一致性封杀了AI换脸等有争议的内容，但这并不妨碍这种技术依旧在暗地里大行其道，甚至肆意泛滥。

不久之前，有个所谓的“网红”，用AI换脸技术合成了女明星和他演吻戏的视频，随后惹怒了粉丝，甚至遭遇了实体宇宙对线。对此我想说，您还真的是有点活该呢。

还有一位女士，在社交媒体上分享的照片，被不法分子用AI软件进行“一键脱衣”并在网上传播，这一事件也引起了广泛关注。

这类侵犯他人肖像权、隐私权、名誉权的行为，都是利用Deepfake来完成。这种行为危害极大，同时也极尽道德败坏之能事，往往会造成《保你平安》中那样，造谣一张嘴，辟谣跑断腿的无奈。

同时，AI换脸技术，也开始被应用到了诈骗活动中。比如此前就有人用AI换脸伪装成明星，然后进行直播骗钱粉丝打赏、刷礼物。最近，我们可以看到很多明星工作室都在对这种行为进行法律追责。

除了AI换脸明星进行诈骗之外，还有骗子利用AI换脸装成熟人进行诈骗。由于换脸之后直接视频通话可信度很高，对于不了解AI技术的老年人来说，可谓是防不胜防。

AI换脸与AI脱衣有多可怕，我们随便想想就能知道。但很多人会觉得，AI换脸应该是挺难的一种技术吧，好像跟影视后期差不多，不是普通人能做到的吧？

其实不然，AI换脸已经有了非常成熟的“产业链”，稍加用心很快就能学会，甚至得到源源不断的素材支持。一般来说，别有用心之徒想要开始AI换脸，要解决这么几个问题。

首先是技术从哪来？

在GitHub等开源社区上，就有开源使用的AI换脸软件。其中最知名的是Deepfacelive、Deepfacelab两种。很多相关的技术社区、论坛、贴吧，有大量教程可以进行傻瓜式学习，甚至还有中文版AI换脸软件进行分发。如果还学不会，二手交易平台上也有大量教程与教学售卖，价格非常低廉。

那么，AI换脸用的图像和视频素材从哪来？

这要分成两个部分。

首先是普通人的图像与视频素材，最常见的泄露渠道就是社交媒体，会有不法之徒专门收集社交媒体资料，然后进行打包售卖。

另一种盗取视频素材的方式，是以某种名义进行视频通话，然后录制，这种往往以公检法部门、银行、防疫等理由要求进行视频通话。

由于不涉及钱财往来，被骗者往往不会产生警觉，然后骗子会再用录制的视频进行AI换脸，骗取被害者家人、朋友的钱财，或者用来办理网贷。

还有一种就是明星的素材。上面提到那个恶心人的网红，可能就是用了所谓的“DFL仙丹”进行女明星的AI换脸。

所谓“仙丹”，是指利用明星的视频、照片素材，进行符合DFL等软件需求的预训练，最终得到的模型可以免训练，免修图，直接用来换脸替代。一个明星的换脸素材库，往往只需要几十元到几百元不等。

现在如果在二手交易平台搜索“AI仙丹”、“DLF仙丹”等字样，会发现大量正在售卖的数据模型。而购买者想来只有两种，一种是满足自己的猥琐意淫，甚至炮制明星的所谓黑料；另一种就是骗子想要假借明星进行网络诈骗。

无论如何，未经允许对一个人的肖像权、隐私权进行移花接木，都是无法接受的。

怎么防范新型的坑人AI？

目前阶段，新一代的坑人AI，有两种主流手法：AIGC和AI换脸。可以预想到的是，在生成式AI愈发强大的今天，伴随着AI生成视频、生成数字人的能力提升，这种坑人方式还将升级。

不久的未来，可能都不需要换脸+真人。骗子可以直接弄个AI跟你聊，甚至弄个假明星跟你聊天，搭配上声音合成与强大的对话能力。骗子即将做到全自动、全流程、高度智能化的AI诈骗。

到底怎么才能防范与制止新型的AI坑人，保护大众的财产权与隐私权呢？

可能至少要从三个方面进行入手：

1）技术防范

在今天，反诈AI也已经发展壮大。各个平台和有关部门都在部署用AI反诈的技术能力，可谓是用魔法打败魔法。

但反诈AI的主要逻辑是进行问题信号的识别，继而进行AI智能外呼的主动干预；估计不久之后，我们可能会看到诈骗AI和反诈AI聊上了的奇特新闻。

但是面对新型的AI骗局，反诈AI技术还需要进一步升级。

比如目前也有转变识别AIGC内容的软件，但受害者应该很少想到主动去识别一下，能想到估计也就不上当了。面向视觉系的AI诈骗，反诈技术还有待提升。

2）平台监管

像AI换脸这种技术，往往是需要一个技术链条来支持的。

如果我们能让别有用心的人无法获得软件、数据上的支持，那么AI换脸自然也就无法泛滥。

警惕不法分子用AI搞事情，需要几种平台同时下手。

首先是AIGC平台要控制内容质量，不能生成擦边球或者明显有不良意图的图片与视频。其次是软件分发平台与论坛、社区，要管控AI换脸、AI脱衣等软件的流通。

二手交易和本地生活平台，要禁止分享和售卖AI换脸工具、明星数据仙丹等内容。

3）防范意识

让大家提高反诈意识已经是老生常谈了。

但还是想要说一下，咱不是说受害者有罪论。

但做一些事，真的有必要吗？

很多人出于出于好奇或者其他小心思，想要弄一个明星的换脸视频，一张熟人的换脸照片，这往往就是恶行的开始，同时也给更大的犯罪提供了土壤。

GHS的心理，侮辱他人的心理，盲目追星的心理，如果都淡一点，事情就会好一点。

总之，AI不坑人，但人类会用一切办法坑人。

行走人间，小心为上。