Redian新闻
>
本想用AI来打败AI,结果不小心翻车了。。。

本想用AI来打败AI,结果不小心翻车了。。。

科技



不久前,一张马斯克婴儿时期的照片在外网被疯狂转发。


起因是一名博主在推特上发了张图,并配文 “ 据报道,埃隆 · 马斯克正在研究一种抗衰老配方,但结果失控了。 ” 


你别说,这照片乍一看,还真挺容易被唬过去的。


但只要稍微用心辨别,就能看出来这是成年马斯克的脸直接移植上去的, AI 味儿太冲了。


自打这 AI 大模型成熟以后,各种 AI 生成的内容就在网络上迅速泛滥。


像什么川建国同志退休后的生活;


还有 “ 马斯克投资 AI 失败,卖烧烤还债 ”“ 马斯克在广州城中村摆摊的日子 ”“ 马斯克 kiss 女机器人 ” 。


各种梗图层出不穷,开局一张图,内容全靠编的情况是愈演愈烈。


而在文本领域,不少学生借着 AI 写论文、写作业,甚至于莫言也坦言,给余华的颁奖词是 ChatGPT 帮忙写的。


那么问题来了, AI 生成的内容满天飞,我们要怎么去区分到底哪些是 AI 创作的,哪些是人类创作的呢?


前段时间 AI 诈骗 430 万的案子大家都还心有余悸,再这么任由 AI“ 狂飙 ” 下去,下一个受害者可能很快就会出现。


其实吧,现在市面上也出现了不少反 AI 工具,专门用来检测 AI 生成的内容。


不过,这些工具真的就靠谱吗?


为此,世超专门找了几个检测工具,测试了一波。


首先是 AI 图像检测。


世超分别找了 Umm-maybe 、 Illuminarty 、 AI or Not 这三个讨论度比较高、甚至是号称准确率在 95% 的检测工具,方便做一个对比。其中 Illuminarty 和 Umm-maybe 测试结果显示的是概率, AI or Not 则是直接给回答。


本以为 AI 检测工具是个 “ 火眼金睛 ” ,但没想到在马斯克 “ 返老还童 ” 的那张图片上,就开始翻车了。


Illuminarty 和 AI or Not 的态度都很明确,这明显就是由 AI 生成的。


但轮到 Umm-maybe ,画风就变了。


它告诉我,这张图片是人类创作的概率为 81% 。


我寻思这肉眼都能瞧出来是 AI 干的好事,这怎么还能检测不出来呢。


为了看看是不是偶尔的 bug ,我又多试了几次。


这张奥黛丽赫本在《 罗马假日 》里的电影截图, Umm-maybe 给了个模棱两可的答案,概率是一半一半。


剩下的一个站 AI ,一个站人类。


至少从马斯克和赫本这两张图片的测试结果来看,除了 AI or Not 之外,其他两个 AI 检测工具的判定都不太准确。


不过,打脸的时刻总是来得很快。


当我以为 AI or Not 稍微靠点儿谱的时候,它却说这张金角大王拿着汉堡的 AI 图片,是人类生成的。


你以为这就完了?更离谱的还在后头。


这张梅西踩缝纫机的 AI 照片, Umm-maybe 给出的人类创作概率为 89% 。


这有点过于荒谬了。。。


还有这张人跟巨型老虎合影的照片,肉眼就能看出来是 AI 生成的吧。


结果除了 Umm-maybe ,其余都认为这是人类创作的,甚至 Illuminarty 还觉得 AI 生成的概率只有 1.5% 。


总结一下,在 AI 图片的检测上,世超总共测试了 10 张不同的图片, 8 张由 AI 生成, 2 张由人类创作。


排除掉了 2 项有争议的结果后, AI or Not 和 Umm-maybe 的准确率都是 67% ,而 Illuminarty 的准确率为 50% 。


也就是说,这三个 AI 图像检测工具的准确度并不算高


咱们再来看看文本的检测情况。


同样,还是选用了 3 个比较热门的检测工具:GPTZero 、 Sapling 以及 Copyleaks 。


世超先让 ChatGPT 生成了一段关于椰汁的广告文案,再依次用工具进行测试。


但一上来就给我整不会了。


我原封不动从 ChatGPT 那边粘贴过来的文案, GPTZero 竟然说是可能完全由人类编写。


而 Sapling 给出结果也一样,这段文字由 AI 生成的概率为 0 。


只有 Copyleaks ,把全文都标红了,咬死这是 AI 写的。


三个工具里有两个都检测不出来这是 ChatGPT 写的,是不是有点太过分了。。。


不信邪的我,又让 ChatGPT 以鲁迅的风格写了一篇《 火锅日记 》。


Copyleaks 依旧稳定发挥, GPTZero 这回倒是学聪明了,只有 Sapling 还在死死坚持那就是人写的。


为了测试这些工具对于人类创作的反应,我又节选了一段《 活着 》里的内容。


可能是余华老师的《 活着 》过于出名,几个工具在这一关上倒是没有踩坑。


前前后后测试了好几次,除了 Copyleaks 的正确率相对比较高之外,剩下的感觉都不是特别聪明的样子,而且 Sapling 还出现了对中文不太友好的情况。


其实吧,无论是图像还是文字检测,都是靠着 AI 把人类创作和机器生成区分出来。


换句话说,就是用魔法来打败魔法。


只是不同的训练模型,所用的数据集不同,分类的指标也不同。


不过,这次的测试结果大家应该也看到了, AI 检测工具的效果并没有想象中那么好。


世超觉得问题,可能就出在这训练数据上。


像上文提到的 AI or Not ,它的数据集范围就只有 Stable Diffusion 、 Midjourney 、 Dall-E 、 GAN 和 Generated faces 生成的图像,如果超出了这个范围,误判也是常有的事儿。


虽然可以利用视觉算法,将输入图像的分辨率、清晰度等局部细节跟 AI 图像的特征进行比对。


但拦不住 AI 进化的速度太快了,像之前备受吐槽的 “ 六指战士 ”Midjourney 每更新一版,对于细节的刻画也就更逼真。


这文本呢,也是类似的情况。


就比如说这 GPTZero ,要想知道文字到底是不是由 AI 生成的,需要看两个指标,一个叫困惑度,一个叫突发性。


困惑度指的是 AI 模型在看到这段文字时,会不会觉得很难懂,像什么 “ 依托答辩 ” 之类的谐音梗, AI 不一定能够看懂,困惑度越高,就证明内容越有可能是人类创作的。


而突发性,指的就是句子结构的变化程度。


毕竟人类跟 AI 不同,在写东西的时候句式可能一会儿长一会儿短,追求的就是一个变化多端, AI 则更倾向于使用统一的句式。


但 AI 在不断的进化中,无论是在困惑性还是突发性上,生成的内容越来越接近人类。

更何况现在的 AI 大模型一天一个样,等 AI 检测追上来, AI 生成的内容早不知道飙到哪去了。


但凡人类有什么风吹草动, AI 就马上能内化到自己的模型里。


照这么下去, AI 生成的东西只会越来越难以辨别。


所以眼下,咱们能做的就是寄希望于技术大牛们,赶紧想办法让 AI 检测工具实现 “ 弯道超车 ” 。


而这场由 AI 掀起的风浪,终究或许也只有 AI 知道怎么去平息了。


撰文:糖醋排骨 编辑:江江&面线 封面:萱萱


图片、资料来源

小红书、推特、Umm-maybe 、 Illuminarty 、 AI or Not 、GPTZero 、 Sapling、 Copyleaks

澎湃新闻,ChatGPT 识别器准确率仅26%,检测AI生成内容为何这么难?
腾讯云,为什么检测人工智能生成的文本如此困难
CSDN,【换脸详细教程】手把手教你进行AI换脸:换脸流程及源码详解


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
火星乐园第三部《灰界》第十四章 边缘思维今年大厂中层,全萎了。。。查尔斯加冕礼后,英国街头出现了一句神口号,笑不活了。。。你还在跟GPT打字交流?有人已经开始和AI视频通话了。。。昨天,杭州大裁员了。。。美团登陆香港的第一天,就把外卖价格干下来了。。。前公募一哥和并购女王深陷传闻!最新消息来了。。。一转眼已经坚持了十几年!最近,墨尔本人又纷纷开始做这事了。。。“墨尔本是哪?”这次墨尔本不仅输给悉尼,还被新州州长嘲讽了。。。油管博主疯狂干饭被质疑,为自证直播挑战,结果当场翻车吃到吐……上周,劝退十几个了。。。纽约公园全是中国大爷大妈:骗我恨美帝的人全去那边安享晚年了。。。明明是微软VS索尼,结果暴雪CEO给我整笑了。破历史最高记录!在澳洲想退休,你的年收入已经需要达到这个数了。。。我最喜欢的美食博主。。。。。五绝。云AI还可以相信吗?ChatGPT给出6个案例并称“千真万确”,30年老律师用来打官司,结果全是假的!当年被专业人士们群嘲的理想,都快能拳打BBA了。。。土耳其以弗所(Ephesus),舞动的云彩有编制! 投资促进中心翻译8/5/2023-8/11/2023 法拉盛新龍興“立秋”大特价,幸福你,我,他,她。。。。。。王者荣耀做女装翻车?被骂惨了。。西杨村农民挖井,挖出世界级古迹新低!澳元重回4.6!宣布暂停加息后,澳元汇率遭遇骤跌!本想换汇赚钱结果却亏大了!华人感叹:现在生活太难了!ChatGPT 坑人?30 年资历的律师用它辩护,结果翻车了|Hunt Good 周报BC公寓业主不小心碰坏一花盆,结果物业索赔这么多英国国王加冕,给汉堡王蹭麻了。。。凝血结果不会看?7 种异常结果解读,一文汇总!ChatGPT 坑人?30 年资历的律师用它辩护,结果翻车了第一篇论文太难了。。。网友问NewBing问题,结果它上了另一个AI的当。。。美国是目前世界上最公正和公平的国家,没有之一惊呆了!澳洲开始流行给车喷食用油!竟是为了。。。2023,A股退市成河。。。。。。被掏空了。。。
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。