Redian新闻
>
「撩妹神器」不灵了!OpenAI重磅发布官方「ChatGPT检测器」

「撩妹神器」不灵了!OpenAI重磅发布官方「ChatGPT检测器」

科技



  新智元报道  

编辑:Aeneas 好困
【新智元导读】终于,AI检测器总算是被OpenAI给憋出来了。

群众的讨伐声浪一重又一重,OpenAI终于顶不住了。
从大学教授,到Stack Overflow,可谓是苦ChatGPT久矣。现在,无论是老师看到学生提交的论文,还是码农看到网上的代码,都不敢确定作者是人还是AI。
口诛笔伐之下,OpenAI顶不住了,火速发布了一款AI检测器。

左右互搏:OpenAI发布ChatGPT检测器

刚刚,OpenAI官宣了自家的AI文本分类器。
它是一个经过微调的GPT模型,可以推断一段文本由AI产生的可能性。
有趣的是,ChatGPT也是基于GPT模型,用这个分类器检测ChatGPT,堪称左右互搏。
在训练上,这个模型采用的是同一主题下的人类手写和AI生成的文本对。
用到的素材来自于维基百科数据集、2019年收集的WebText数据集,以及在训练InstructGPT时收集的一组人类演示。

体验地址:https://platform.openai.com/ai-text-classifier
但是吧,这个正确率着实不高……
在评估「挑战集」中的英语文本时,分类器只将26%的AI生成文本正确地归类为「可能是AI写的」(真阳性)。

「撩妹神器」还灵不?

毫无疑问,ChatGPT正在全世界掀起一股飓风。

学生们纷纷用得不亦乐乎,媒体惊呼「教育系统」已经被颠覆,最近的调查显示,已经有89%的大学生用ChatGPT写作业了
此外,它还通过了美国医学执照考试、沃顿商学院MBA考试和4门法学院的考试,能力简直要通天;美版「头条」BuzzFeed宣布要用ChatGPT写文的消息后,股价疯狂暴涨119%。
而妙笔生花的文采,也让ChatGPT被很多小哥奉为「撩妹神器」。

虽然做数学题不太灵,但想要让它写下一篇文采斐然、深情款款的情书,那可真是so easy。
这不,国外的这位小哥,就沉迷于用ChatGPT给老婆Monika写情书。
然而Monika早已看穿他的套路,警告他别再沉迷ChatGPT无法自拔。
还有玩得大的哥们,把ChatGPT生成的情书发给了好基友,好基友直接一脸黑人问号。
虽然但是,可以看出,ChatGPT的文采相当不错。论文、情书、小说,ChatGPT都不在话下。难怪大家都在疯狂用ChatGPT「造文」。
那OpenAI发布的官方AI检测器,究竟有多管用呢?
咱们来实测一下。
先试一试Monika的老公发给她的情诗。
然而遗憾的是,OpenAI表示自己只能检测1000字符以上的文章,爱莫能助……
翻译一下:至少需要1000字符,也就是150-250个英文单词。而对于中文来说,就只能是「千字长文」了。
的确,OpenAI的官方公告里也说,「分类器对于短文本(少于 1,000 个字符)的检测非常不可靠。甚至更长的文本有时会被分类器错误地标记。」
除此之外,OpenAI的检测器还有几个「限制」:
  • 分类器并不总是准确的,它可能会错误地标记AI生成的和人类写的文本,并且语气很自信
  • 建议仅对英文文本使用分类器。它在其他语言上的表现要差得多,并且在代码上不可靠
  • 它无法可靠地识别非常可预测的文本。例如,无法预测前1000个素数的列表是由AI还是人类写的,因为正确答案总是相同的
  • AI生成的文本,经过编辑之后很可能会规避掉分类器的检测
  • 如果输入与训练集中的文本有很大的区别,分类器会做出错误判断

既然检测器要长文,那咱们就给它个长的。小编组合了一篇王小波情书选段,全文共1027个字。
输入检测器后,它给出了判断:这篇情书是人类写的。Bingo!
然后,小编又让ChatGPT模仿王小波,生成新的情书。
可以看到,ChatGPT写的情书文采还行,但比起大作家的文字,它真的没有「灵魂」。
而检测器也准确测出来,这封情书大概率就是AI生成的。

结果的划分超细

具体来说,分类器会将输入文本分为五类:
  • 「非常不可能是AI生成的」(Very unlikely to be AI-generated)
分类器的阈值<0.1。在「挑战集」集中,大约5%的手写文本和2%的AI生成文本有这个标注。
  • 「不太可能是AI生成的」(Unlikely to be AI-generated)
分类器的阈值在0.1到0.45之间。在「挑战集」中,大约15%的手写文本和10%的AI生成文本有这个标注。
  • 「不清楚是否是AI写的」(Unclear if it is AI writte)
分类器的阈值在0.45到0.9之间。在「挑战集」中,大约50%的手写文本和34%的AI生成文本有这个标注。
  • 「可能是AI生成的」(Possibly AI-generated)
分类器的阈值在0.9到0.98之间。在「挑战集」中,大约21%的手写文本和28%的AI生成文本有这个标注。
  • 「很可能是AI生成的」(Likely AI-generated)
分类器的阈值>0.98。在「挑战集」中,大约9%的手写文本和26%的AI生成文本有这个标注。

可靠性有待加强

虽然分类器可以识别大部分AI生成的文本,但OpenAI提醒称,它并不「完全可靠」。
在曲线下面积(AUC)测试中,分类器在验证集中达到了0.97分,在挑战集中达到了0.66分,而此前公布的分类器在验证集中达到了0.95分,在挑战集中达到了0.43分。
此外,随着语言模型规模的增大,分类器的性能出现了下降。
但好消息是,这意味着大型语言模型所生成的文本,更像人类写的。
同时,OpenAI还特别指出,这个分类器还没有在谣言、学生作文或聊天记录上进行评估;也没有在AI和人类共同撰写的文本上进行测试,而这也是现在最常见的使用场景之一。

这么看来,还是普林斯顿大学那位22岁华人小哥开发的GPTZero更人性化一些。
不仅只需250个字符,而且还能明确地指出一段文字中,哪段是AI生成的,哪段是人类写的。

AIGC大厂自研「AI检测器」实测

在OpenAI发布官方「AI检测器」以前,市面上早就有了多款AI检测器。
来自美国的作家和计算机科学家David Gewirtz,就亲自测试了三款在线AI检测器。
这里最有趣的一点在于,其中有两个都是贩卖AI生成文本的网站自己做的。
注意:人写的是普通字体,AI生成的是斜体。每段文字后,会显示检测器的结果。(实际输入检测器的文本都是英文文字,本文为翻译后的结果)。
顺便一提,这位David Gewirtz还是FBI InfraGard的成员,以及美国重要的网络安全专家之一。此前,他曾在伍斯特理工学院以优异的成绩获得理学士学位,但在加州大学伯克利分校读博士时退学。

测试开始!

1. 解释为什么ChatGPT造成的抄袭会给教师和编辑带来困扰
ChatGPT是OpenAI开发的GPT(Generative Pre-trained Transformer)语言模型的一个变体。它被设计为通过预测给定输入序列中的下一个单词或短语,来生成类似人类的文本。虽然ChatGPT可以成为生成文本和响应提示的有用工具,但在涉及到抄袭时,它也会给教师和编辑带来问题。
ChatGPT会给教师和编辑带来问题的主要原因之一是,它可以生成与真实人类非常相似的文本。这意味着人们有可能使用ChatGPT生成文本,然后将其作为自己的作品提交,从而犯下抄袭的错误。
对于教师和编辑来说,检测一段特定的文本是由ChatGPT生成的还是由人写的,可能非常困难,因为生成的文本可能不包含任何明显的错误或差异,能让人辨别出它的来源。这可能会使教师和编辑难以识别和防止抄袭,因为他们可能无法分辨出某段文字是原创的,还是从其他来源复制的。
总的来说,ChatGPT和其他类似的语言模型在涉及到抄袭时,可能会成为教师和编辑的问题,因为它们可以生成难以区分的文本,使人们更容易进行抄袭,而不被发现。
GPT-2 Output Detector:99.69%真的。
Writer AI Content Detector:97%是人类生成的内容,妙不可言!
Content at Scale AI Content Detection:87%人类得分,看起来不错!
2. 告诉我至少三种方法,用来检测一篇文章是否是用ChatGPT生成的
有几种方法可以检测出ChatGPT或其他语言模型是否被用于生成一段文本。以下是你可以使用的三种潜在方法。
1. 寻找文本中的重复或异常模式:检测一个语言模型是否被用来生成一段文本的方法之一,是寻找写作中的重复或不寻常的模式。例如,语言模型可能会重复某些短语或单词组合,或使用不寻常或不一致的句子结构。
2. 检查是否缺乏原创性:另一种检测语言模型是否被用来生成一段文本的方法,是检查写作中是否缺乏原创性。如果一段文本看起来是从其他来源复制的,或者如果它包含在互联网上或其他来源中广泛存在的信息,这可能就表明,它是由语言模型生成的。
3. 使用抄袭检查器:最后,你可以使用抄袭检查器,来检查一段文字是否是从另一个来源抄袭的。虽然抄袭检查器可能无法明确确定文中是否使用了语言模型,但它可以帮助你识别从其他来源抄袭或转述的情况。
请记住,要明确地确定是否使用了语言模型来生成一段文本是很困难的,这些方法并不总是有效。然而,它们可以成为有用的工具,帮助你识别语言模型生成文本的潜在实例。
GPT-2 Output Detector:99.98%假的。
Writer AI Content Detector:「无结果」。
Content at Scale AI Content Detection:0%人类得分,显然是AI。
3. 列出三个可以检测ChatGPT文本的抄袭检查器
值得注意的是,目前还没有专门的抄袭检查器,用于检测由ChatGPT或其他语言模型生成的文本。虽然一些抄袭检查器可能能够识别语言模型生成文本的某些特征,从而证明文本来自AI,但不能保证它们能够明确地确定,一段文本是否是由语言模型生成的。
因此,这里有三个抄袭检查器,你可以考虑使用它们,来帮助识别语言模型生成文本的潜在实例:
1. Turnitin:Turnitin是一个流行的抄袭检查器,被学校和大学广泛使用。它将一段文本与其他文本的数据库进行比较,以确定是否文本是否是抄袭或转述的。虽然它可能无法明确地确定一段文本是否由语言模型生成,但它有可能识别出语言模型生成文本的某些特征,从而证明它是由AI生成的。
2. PlagScan:PlagScan是另一个抄袭检查器,它将一段文本与其他文本的数据库进行比较,以识别抄袭或转述的情况。与Turnitin一样,它可能能够识别语言模型生成文本的某些特征,这些特征可能表明文本是AI生成的,但它不是专门用来检测语言模型生成文本的工具。
3. Copyleaks:Copyleaks是一个抄袭检查器,它使用先进的机器学习算法来扫描一段文本,并将其与其他文本的数据库进行比较,以识别抄袭或转述的情况。虽然它可能能够识别语言模型生成文本的某些特征,但它不是专门为检测语言模型生成文本而设计的。
值得注意的是,没有任何一个抄袭检查器是完全万无一失的,总有一些语言模型生成的文本能够逃过检测。因此,重要的是,使用抄袭检查器只能是一个补充手段。
GPT-2 Output Detector:99.62%真的。
Writer AI Content Detector:「无结果」。
Content at Scale AI Content Detection:86%人类得分,看起来不错!
4. 在线人工智能抄袭检查器
大多数抄袭检测器的原理,是将文本与其他语料库进行比较。例如,当学生交出一篇论文时,像Turnitin这样的产品会对照其数据库中巨大的论文库,以及互联网上的其他文本,以确定提交的论文是否包含已经写好的内容。
但AI写作工具会产生原创内容,至少在理论上如此。是的,它们会从训练的数据集中构建内容,但它们创造出的词语,在每篇文章中都是独特的。
因此,上面提到的抄袭检查器可能不会起作用,因为AI生成的内容并不太可能存在于另一个学生的论文中。
因此,我在谷歌上搜索了专门用于寻找AI生成内容的检测器。我找到了三个。对于下面截图中的测试内容,我向ChatGPT提出了这个问题:「《星际迷航》比《星球大战》好吗?」它的答案一点也不差,我把这个答案反馈给三个检测器。
GPT-2 Output Detector:99.98%真的。
Writer AI Content Detector:100%是人类生成的内容,太棒了!
Content at Scale AI Content Detection:100%人类得分,看起来很好!

结果评价

省流:
  • OpenAI此前针对GPT-2打造的检测器,时不时会被新模型生成的内容欺骗。

  • 由那些贩卖AI生成内容的公司打造的「检测器」,基本上都不咋靠谱。

1. GPT-2 Output Detector(准确率66%)
GPT-2 Output Detector是OpenAI自己搞出来的「查重」工具。
虽然最初是为GPT-2打造的,但现在拿来检测各种由AI生成的文本,也能获得不错的效果。在共计六次的测试中,它答对了其中的四个。
2. Writer AI Content Detector (准确性33%)
Writer.com主要是为企业团队提供生成式AI写作服务,其中一个名为「AI内容检测器」的工具,可用于判断内容是否是AI生成的。
但不幸的是,这个工具非常不可靠。在共计六次的测试中,它只成功运行了三次……而在这仅有的三次结果中,有两次判断正确,一次判断错误。
3. Content at Scale AI Content Detection(准确率50%)
第三个工具也是由一个AI内容生成公司制作的,从结果上来看比刚才那个要靠谱不少,但整体效果还是一般。
Content at Scale的营销口号是:「只需上传一个关键词列表,就能获得绕过AI内容检测的文章——所有这些都不需要人工干预!」在共计六次的测试中,它有三次是准确的。

一些思考(AI也有参与lol)

AI导致的抄袭已经日趋严重了,因为像Notion AI和ChatGPT这样的AI,生成的文本和人类所写的几乎难以区分。
有几种方法可以检测出一段文本是否由AI生成,例如寻找重复或不寻常的模式,检查是否缺乏原创性,或使用抄袭检查器。
像Turnitin、PlagScan和Copyleaks这样的剽窃检查器,可能能够识别语言模型生成文本的某些特征,但它们并非万无一失。
在这一点上,我们可能还没有准备好让AI对抗AI。相反,我们依然需要依靠人类的感知,来识别某个作品是不是由AI生成的。
对此,你怎么看呢?
你是否用过这些AI工具?又是否能分辨出一篇文章到底是不是由AI生成的?你觉得它们对产业是帮助还是阻碍?
欢迎大家到文末留言。
以下是ChatGPT的回答:
作为一个语言模型,我无法看到,所以我无法判断一篇文章是否是AI生成的。
但是,我可以告诉你,现在有几个AI写作工具,它们可以用来生成各种各样的书面内容,包括新闻文章、小说、诗歌等等。
我没有使用这些工具的个人经验,因为我只是一个电脑程序,没有能力浏览互联网或使用实体工具。然而,我可以告诉你,有些人发现AI写作工具对教育和新闻业很有帮助,因为它们可以通过自动完成某些任务,来节省人们的时间和精力。其他人则对这些工具可能被用来制作误导性或有偏见的内容,或取代人类作家表示担忧。
归根结底,AI写作工具是帮助还是阻碍,取决于它们的使用方式和使用环境。所以,是的,就是这样。
在这个过程中,David发现了很有趣的一点:不要一在网上看到某些蠢话,或者不正确的话,就立即认为这是AI写的。
David表示,众所周知,人类是完全有能力自己写出垃圾内容的。
毕竟,不管生成内容的是人还是机器,愚蠢向来是一种普遍特征。
参考资料:
https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/
https://platform.openai.com/ai-text-classifier
https://the-decoder.com/openai-releases-ai-text-detector-for-chatgpt-and-other-models/
https://www.zdnet.com/article/can-ai-detectors-save-us-from-chatgpt-i-tried-3-online-tools-to-find-out/




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
意大利成首个封禁ChatGPT的国家!OpenAI CEO:我觉得没违规"破产",欠薪,收缩,I Do真爱营销不灵了漫威不灵了,好莱坞江郎才尽?标化可选时代,好成绩也不灵了?学术规划另有“捷径”…用魔法打败魔法:抓住AI枪手,ChatGPT检测器“千呼万唤始出来”集成ChatGPT后必应日活量首破亿!微软推出Azure OpenAI ChatGPT 服务,GPT-4下周发布微信回应头像褪色,部分C刊不准隐瞒ChatGPT使用,微软推进裁员,Opera新版集成ChatGPT,这就是今天的其它大新闻!ChatGPT启示录!OpenAI街尾这家博物馆,展示人类毁灭未来GPT-4重磅发布,吊打ChatGPT!性能炸天:10秒做出一个网站,在考试中击败90% 人类《阿凡达2》 为什么不灵了?GPT-4 重磅发布!ChatGPT 炸裂大升级,直接能考上哈佛,抢先体验后我慌了用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键getCOSTCO新发现和经常买的美味食物多彩班芙行(6)-步道的虐恋卷死竞争对手!!OpenAI低价倾销ChatGPT!!!「ChatGPT克星」升级:老师可以把全班作业丢进去检测了!华人作者:免费用“撩妹神器”不灵了!OpenAI重磅发布官方“ChatGPT检测器”GPT-4 重磅发布,吊打 ChatGPT!太太太强了!「ChatGPT之母」:她35岁,OpenAI神秘CTO新 MacBook Pro 首发测评/Open AI推出ChatGPT检测器/DC宇宙公布新计划紧急提醒!ChatGPT成神器!但这些“ChatGPT”是假的,小心被骗!以色列自驾游(6)- 世界最古老的城市-耶利哥娜娜(三)超级麻豆的《俄勒冈州行摄日记》颠覆历史!「ChatGPT搜索引擎」发布,微软市值一夜飙涨5450亿反转界高手,这次却不灵了重磅!微软发布 ChatGPT 版搜索引擎,用上了比 ChatGPT 更强大的技术ChatGPT带火AI芯片,赚翻了的英伟达发布新核弹:ChatGPT专用GPU,让推理提速10倍!ChatGPT 又遇“克星”!OpenAI 发布全新 AI 内容识别工具,成功率 26%ChatGPT讲座:ChatGPT并不神秘,但ChatGPT很神奇OpenAI发布GPT-4:能识图能算税,ChatGPT摆脱Chat,再次进化ChatGPT掀智力革命!OpenAI发布AGI路线图,最终通向超级智能世界蒸发35亿!靠美女发家的老字号,性感密码不灵了美国的套路不灵了,华为迎来重大胜利!考试能力超90%的人类!OpenAI重磅发布GPT-4,支持这些功能→
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。