当AI开始欺骗全世界：一键换脸，克隆语音，骗钱，骗色，骗媒体，制造恐慌.....

AI的迅猛发展，令人喜忧参半。

人们一方面惊叹于那碳基生物无法比拟的强大工作效率，期待AI能帮忙节省不必要的劳动力。

另一方面，却又害怕它模糊现实和虚构的边界，切断人类分辨真伪的能力。

几乎AI诞生的那一刻起，AI造假的恐慌也随之不断蔓延。

（AI热图：川普被捕）

事实证明这一天不会太久。

如今，用AI编造的故事不仅能够蒙骗普通网友，就连全球各大媒体也纷纷上当。

AI新闻造假，全球媒体受骗

上个月，dailymail刊登了一则新闻 —— 22岁的加拿大小哥Saint Von Colucci为了在韩国顺利出道，以防弹少年团的朴智旻为模版，整容了12次后不幸丧命。

新闻瞬间吸引了不少目光。

随后TMZ跟进，印度NDTV、加拿大Postmedia以及韩国的YTN、Osen、star等媒体也都对此进行了报道。

故事有图有真相，从小哥的手术过程到闯韩经历……各种细节应有尽有。

已经被主流媒体筛选过的事实，网友们自然也不会过多怀疑，真情实感地为小哥的遭遇感到惋惜。

可紧接着，此事就迎来了反转……

有驻韩记者、印度《滚石》助理编辑以及美国知名广播电台iHeartRadio等，进一步查证后提出了质疑：这位Saint Von Colucci的故事应该是编造的，甚至这个人可能压根就不存在。

疑点有很多。

文中说他曾为不少Kpop爱豆写过歌，但他死后却没有任何业内人士公开哀悼。

此外，韩媒MBC询问警方后得到的回复是：当时并未收到类似的死亡案例报告。

还有人把他的照片拿去检测网站，结果显示有75%的可能性是由AI生成的。

这件事于是立马被贴上了“AI新闻造假”的标签。

眼看质疑声越来越大，dailymail已经默默删文，TMZ也马上澄清了新闻有误。

但事情到这还没结束。之后又又又迎来了反转。

本月初有媒体报道，Saint Von Colucci的家人正准备起诉他的韩国经纪公司，以及宣称他们儿子的死亡是骗局的记者。

言下之意，报道都是真实的。

然而，这篇报道中又没有任何实质性的证据或采访，也没有家人出镜。已经被骗过一次的网友，根本不知道该相信谁了。

本是一场悲剧，现在成了闹剧。

如今，距离第一篇报道发布已经过了半个多月。调动了这么多来自英媒、加拿大、韩国以及印度等地的媒体，却依旧无法判断一个人的身份是真是假。

这让人深刻地意识到，AI除了捏造事实，更可怕的是会让人失去分辨真相的能力。

AI造谣层出不穷，险些引发社会恐慌

加拿大小哥的事件姑且只涉及到一个人。还有些更恶劣的AI造假操作，不仅会导致社会恐慌，还可能引发针对政府的信任危机。

上个月在国内就有这样一起事件。

甘肃平凉市公安局崆峒分局网安大队发现，多达21个网站上同步出现了一条本地“新闻”：甘肃一火车撞上修路工人，致9人死亡。

如此骇人听闻的标题外加大体量的集中报道，这条“新闻”的点击量很快超过了1.5万，引发了不少网友的讨论。

但此事纯属子虚乌有，完全就是一个博流量的幌子。

当地网警立刻介入，调查后发现，犯罪嫌疑人洪某就是利用了AI技术进行的新闻造假。

他购买了大量账号，通过ChatGPT全网抓取社会热点新闻素材，简单修改一番就能避开平台的查重审查，炮制出假新闻。最后再通过购买的软件大量上传至不同账号里，就能非法获利。

这次幸好警方发现及时，在“新闻”尚未引起恐慌时就将犯人捉拿归案。

但此事也足以让人意识到，AI造假后患无穷。

AI技术日趋完美，图片视频以假乱真

随着midjourney、Stable Diffusion等制图工具的兴起，现在用AI生成照片的效果，早就脱离了“一眼假”的尴尬，达到了肉眼难以分辨的程度，正式宣布“有图有真相”的时代已经结束。

专家们一直警告，未来AI技术滥用可能产出各种假闻。其实不用未来，这一天早就到来了。

小到恶搞名人，自娱自乐：

比如，之前有国外网友用Midjourney生成“教皇穿羽绒服”，图片质量之高完全做到了以假乱真，被浏览了2800多万次不说，还引起了不小的骚动。

由于当下没有可以交叉比对的新闻报道，很多网友都信以为真。

大到捏造国际事件，直接改写历史：

还记得2001年时发生在卡斯卡迪亚的9.1级大地震和海啸吗？

当时房屋倒塌，遇难者家属泣不成声，救援人员连夜工作，各国记者都赶往现场报道。

当然不记得。

因为根本就没有什么地震，这些都是网友发在Reddit上的AI图。

这位网友模仿新闻报道总共生成了20多张照片，各种角度都有，伪造了一次大型灾难事件。

虽然图片制作得比较粗糙，不少地方都能看出破绽，但不可否认当时确实骗到了不少人：

“难道只有我一个人自问‘我怎么不记得这件事了？’直到看见版块分区？”

而除了照片，AI的视频造假技术也早就成熟。deepfacelab等AI换脸软件的成品，只靠肉眼几乎无法分辨。

比如下面这段网友制作的阿汤哥。那几个经典表情，完全就是阿汤哥本汤，是粉丝都会误判的程度。看原视频的话会发现声音也一模一样。

另一段打高尔夫的动作也没什么大问题。乍看之下，根本无从辨别是真人还是虚拟。

这还是2021年制作的，现在技术早就又更迭了无数次。

AI克隆人声，诈骗屡次得逞

人声合成是AI技术滥用的重灾区。

现在的AI模型 —— 比如VALL-E —— 可以做到仅凭三秒钟的语音样本，就完美克隆出本人的声线，甚至连说话的语气和习惯都一模一样。

有不少骗子利用这点进行诈骗。最近，西班牙的小型电影制作公司Peabody Films就成了受害者。

公司的编剧兼导演Bob William透露，此前有人伪造本尼的声音跟他们打电话谈合作。

AI的声音听起来完完全全就是本尼本人，最开始公司相信了，还暗喜这么有名的演员会对自己的剧本感兴趣。

可交谈了几次后，对方开始露出了马脚。“本尼”既不愿意见面，还要求公司提前给他打20万英镑。

众人这才意识到被骗了。好在钱还没打，损失不大。

相比“本尼”事件，另一个骗子明显高明许多。

上个月，化名mourningassasin的网友出售了多首R&B歌手法海（Frank Ocean）的“泄露曲目”。

听了一小段公开片段后，网友们都相信歌曲是真的，因为声音和风格一模一样。

很多歌迷联系mourningassasin购买，他趁此赚了13000多加币。

可后来证明，这些歌跟法海一点关系都没有，全是AI制作的。

当前的AI技术可以根据任何歌手的声音，曲风以及唱歌习惯等进行模仿创作，即便死忠粉也很难分辨真假。

这种情况下，除非法海本人否认，仅靠路人很难打假，这就给了骗子可乘之机。

前阵子还流行过AI版本的公鸭、侃爷以及孙燕姿。

虽然大部分只是出于好玩，但这也恰恰证明了AI技术对音乐行业产生的震荡。

明星们的音频容易获取、模仿，因此是AI诈骗的重点“被害人物”，但这并不表示普通人就不会受到波及。

国外有不少利用AI克隆声音进行诈骗的例子。仅在加拿大涉案金额就已超过百万。

诈骗犯大多通过社交媒体搜集音频素材，之后用AI模仿声音主人的声线，再拿去欺骗他们的家人。

一个月前，美国一位母亲Jennifer DeStefano接到了“绑匪”电话，对方称劫持了她15岁的女儿Brie，要求100万美元的赎金。

电话那头传来了“女儿”的呼救。Jennifer听到的当下就相信了，因为不仅声音，就连哭泣的方式都和女儿一模一样。

好在后来丈夫及时证实了女儿是安全的，骗子才没得逞。

但这件事依旧让人后怕，也给广大网友造成了强烈的不安。

在能媲美“真假美猴王”的技术面前，没人敢保证拥有“火眼金睛”永不上当。

金融诈骗新方式，AI噱头下的骗局

如果说哪个领域的AI滥用能产生最强的破坏力，那多半就是金融圈。

一旦被有心人士利用，其震动足以使无数人倾家荡产。

众所周知，马斯克曾放话要推出一个TruthGPT人工智能项目，声称要去理解宇宙本质、探索真相。

从狠批AI对社会的潜在危险，再到下海入局……该计划一经公布就备受瞩目。

可没想到，马斯克还没做出什么名堂，这个项目就先被别人拿去骗钱了。

本周三，得克萨斯州监管机构紧急叫停了一项名叫TruthGPT的代币项目。

三月时，它由男子Horatiu Charlie Caragaceanu旗下的两家公司The Shark of Wall Street和Hedge4.ai联合推出。

乍一看名字，不少人都以为该项目与马斯克的TruthGPT相关，是他旗下团队推出的相关产品。

而该团队其实也传达出了“连马斯克本人都非常支持”的意思。

相关推广页面上还出现了马斯克本人的头像和动画形象，给人的观感是：这已经得到币圈大佬的专业认证了。

除此之外，TruthGPT代币的官网上，还出现了加密货币交易平台币安的创始人赵长鹏、以太坊联合创始人Vitalik Buterin等行业顶尖人士。

普通投资者看到这里，很容易会被权威人士的背书打动，就这么相信了这个代币的合法性。

再加上该项目还一直对外洗脑自己的超强功用：

使用Elon Musk AI的模型，可以分析各种加密货币，从而对各种数字资产进行估价。

同时还能将可投资产品和骗局予以区分。这样，就能在保证投资安全的前提下获得收益。

宣传文案上大胆写着：根据统计，投资后的收益将会翻上1000倍。

整个看下来给人感觉便是：有钱不赚王八蛋。

这一系列操作随后引起了德州监管机构的注意。

结果调查后发现，这根本就是一场人工智能投资骗局。

项目方借着马斯克TruthGPT的名号进行宣传，将所谓的代币项目，包装成利用AI模型获得高利润的投资手段。

实质上，他们压根就没有什么人工智能模型，有的只是一个包装话术。

德州监管机构揭发称：TruthGPT代币从未在当地进行合法注册，而且Caragaceanu的两个公司均未获得运营许可。

总之，这是一个彻头彻尾的骗局。

可怕的是，类似这种假借AI名义进行金融诈骗的行为已非个例。

仅在4月份，美国加州金融保护和创新部门（DFPI）就查出五家公司都在进行AI诈骗。

随着AI技术的发展，揪出一个TruthGPT代币，也还会有下一个xxx代币出现。

对于金融界而言，应该如何防范，已然成为亟待攻克的一大难题。

AI换脸肆虐侵权，法律保护

AI的换脸技术应该是近年来争议最大、也是民众最痛恨的技术之一。

因为用它给女性造黄谣，几乎就是动动手指的事。

受害者太多了……

此前，一个名叫Atrioc的Twitch主播曾在直播时被网友发现，浏览器显示正在观看色情片。

而色情片的内容，是其他女主播被AI技术伪造后生成的。

这件事立马引起了众怒。很多网友怒斥Atrioc的行为侵犯了女主播们的权益。

但同时，也不乏猥琐人士到处求资源，给受害者带来了二次伤害。

其中一位受害者名叫QTCinderella。

她发现此事时为时已晚，网络上到处流传着“她的”色情视频。不少人把这当真事一样讨论得津津有味。

QTCinderella一度情绪崩溃，在直播中痛哭：

“这种感觉就像遭到侵犯，被利用，看着赤身裸体的自己被肆意传播……不该是我来花钱把这些东西移除掉，也不该是我被骚扰，看着自己的‘裸照’满天飞……我用人格保证，我TM一定会起诉你们。”

类似的遭遇还发生在女生Taylor Klein身上。

大四时她饱受网络霸凌，经常在ins上被陌生男子辱骂。

直到某天Taylor收到好友发来的链接，才明白这是为什么。

链接打开是一个色情网站。而视频的主人公和她长相一模一样，标题还赫然列着她的名字。

Taylor当然知道这不是自己。

原来一直以来，她的脸被AI盗用伪造成了色情片。那些陌生男子因此才会侮辱她是“恶心的bitch”。

（示意图）

她试着向警察寻求帮助，等来的答复却是：她所在的州，目前还没有关于深度伪造色情片的相关法律。

而现有法律中“未经同意进行色情行为”的相关规定，也无法对此进行制裁，因为这些黄片里只出现了Taylor的脸，并不涉及她本人。

无奈之下，Taylor只好和其他受害者联手寻找嫌疑人。

可她们央求警方给嫌疑人打电话后，得到的回应也只是“下次不会再发生”。至于惩罚，压根不存在……

被污名化的受害者已经做了所有能做的，却依然无法得到公平的待遇。因此直到现在，用AI造假黄片的行为依旧屡禁不止。

如果一直任由科技发展，却没有相应的法律政策跟上予以规范，不难想象在这个如此依赖网络的时代，人们面临的最坏后果是什么：

即便看到图片和视频，也不敢轻易相信新闻。

接到家人的电话，需要反复确认是不是真人。

拍摄满意的照片上传网络，隔天发现自己成了黄谣主角，百口莫辩……

人人畏惧虚假的楚门世界，人人却都成了主角。

ref：

https://indianexpress.com/article/technology/artificial-intelligence/jimin-lookalike-saint-von-colucci-fake-8581613/

https://www.theguardian.com/commentisfree/2023/apr/01/ai-deepfake-porn-fake-images

https://www.rollingstone.com/tv-movies/tv-movie-features/another-body-sxsw-college-girl-deepfake-porn-epidemic-twitch-documentary-1234692560/

https://www.dailymail.co.uk/sciencetech/article-12045907/Film-company-targeted-fake-AI-Benedict-Cumberbatch.html

https://decrypt.co/138785/texas-cease-and-desist-ai-scams-fake-elon-musk-truthgpt-coin

https://www.vice.com/en/article/z3mn75/scammer-made-thousands-selling-leaked-frank-ocean-tracks-that-were-fake-ai-generated-the-line-steer-it