Redian新闻
>
OpenAI推出ChatGPT“克星”,秒辨AI生成文本,但错把莎翁判成AI

OpenAI推出ChatGPT“克星”,秒辨AI生成文本,但错把莎翁判成AI

科技

1秒识别AI生成的文本,AI作弊行不通了?
作者 |  ZeR0
编辑 |  漠影
智东西2月1日报道,今日,美国AI初创公司OpenAI宣布推出一个AI文本分类器,用于辅助辨别文本是由人类还是AI人工智能)编写的。
这款AI工具可免费试用。用户将待检测文本复制到文本框中,点击Submit,系统就会评估该文本由AI系统生成的可能性,给出评估结果。

评估结果分成5类:非常不可能、不太可能、不清楚、可能、非常可能是AI生成

目前试用这款AI文本分类器有一些限制,要求至少1000个字符,大约150-250个单词。
该工具在检测大于1000个字符的英文文本时效果更好,在检测其他语言时的表现要差得多,而且无法辨别计算机代码是由人类还是AI写的。

AI文本分类器直通门:

https://platform.openai.com/ai-text-classifier


01.
针对AI滥用风险,打造“克星”工具


AI文本分类器意在解决ChatGPT爆红之后引发的争议。
OpenAI在去年11月推出的ChatGPT聊天机器人,不仅能准确回答专业问题,还能撰写诗词歌赋、广告文案、散文小说、电影剧本、编程代码等各类文本,大受使用者的称赞追捧。
但随着使用者越来越多,ChatGPT的问题也很快暴露出来。一方面是它本身的局限性,例如素材来源可能涉及抄袭、侵权,或者有时会写出看似正确实则错误的文本;另一方面是滥用风险,例如有些人会用AI工具作弊、散播虚假信息等。
为了缓解这些问题,OpenAI打造了一个全新的AI文本分类器
这是一个GPT语言模型,对从各种来源收集的同一主题的人类编写文本和AI编写文本的数据集进行了微调,使用了来自5个不同组织的34个模型生成的文本,以检测该文本由AI生成的可能性。
人类编写文本的数据集来自三个来源:一个新的维基百科数据集、2019年收集的WebText数据集、一组作为训练InstructGPT的一部分收集的人类演示。
OpenAI将每个文本分成了“提示(prompt)”和“回复(response)”,根据这些提示,从OpenAI和其他组织训练的各种不同的语言模型中生成了回复。对于Web应用程序,OpenAI调整了置信度阈值,以保持低误报率;换句话说,只有当分类器非常有信心时,它才会将文本标记为可能是AI编写的。
OpenAI也贴心地为试用者备好了引用这款AI文本分类器的BibTex格式。



02.
1秒给出分类结果,但偶尔错把人类当AI


我们分别用几段ChatGPT生成文本、几段外媒新闻报道内容,测了测AI文本分类器的表现。
首先,让ChatGPT就中美前沿人工智能研究的不同之处分析了一通。

▲ChatGPT针对“中美前沿AI研究有哪些不同”问题的回答

接着将这些文字复制粘贴到分类器的文本框中。

▲AI文本分类器秒出判断

结果,AI文本分类器1秒判断出这非常可能是AI生成的(likely AI-generated)。
换几段由人类写的分析生成式AI风险的内容:

▲AI分类器很快给出评估结果

AI文本分类器这次花得时间略长,2秒给出结果:非常不可能是AI生成的(very unlikely AI-generated)。评估结果依然准确。
不过,再提升点难度,分类器就不太灵了。
知名AI研究人员Sebastian Raschka用莎士比亚《麦克白》第一页的内容做测试,发现AI文本分类器误判为“很可能是AI生成的(likely AI-generated)”。
看来在AI文本分类器眼中,莎士比亚已经走在了时代的前面
Sebastian Raschka还从自己在2015年出版的Python ML书摘录了好几段,AI文本分类器的识别也不是很准,Randy Olson的前言部分被识别成“不清楚是否由AI生成”,他自己写的前言部分被识别成“可能是AI生成的”,第一章部分被识别成“很可能是AI生成的”。
看到一系列令人啼笑皆非的测试结果后,他评价说:“在ChatGPT让你的作业变得更简单之后,它现在比以前更难了。现在,你必须多次修改自己的措辞,直到它们看起来不再是AI生成的,然后才能提交。”

03.
识别正确率仅26%
AI文本分类器还有很多局限性


OpenAI在与训练集分布相同的验证集和挑战集上评估了其AI文本分类器和之前发布的分类器,挑战集由人类编写的补全(completions)和来自在人类补全上训练的强语言模型的补全组成。
结果显示,与OpenAI之前发布的分类器相比,全新AI文本分类器的可靠性要高得多,在验证集上的AUC得分为0.97,在挑战集上为0.66(OpenAI之前发布的分类器在验证集上为0.95,在挑战集上为0.43)。分类器可靠性通常随着输入文本长度的增加而提高。
OpenAI还发现,随着生成文本模型大小的增加,分类器的性能会下降。
换句话说,随着语言模型规模变大,它的输出对AI文本分类器来说更像人类编写的文本。
OpenAI在博客中坦言其分类器“不完全可靠”,比如在低于1000个字符的短文本上非常不可靠,即使是较长的文本有时也会被错误标记,有时人类书写的文本也会被错判成AI编写的文本。
在对英语文本“挑战集”的评估中,该分类器正确地将26%的AI创作文本识别为“可能是AI编写的”,而在9%的时间内错误地将人类创作文本标记为AI编写。
OpenAI建议只对英文文本使用该AI文本分类器,因为它在其他语言中的表现要差得多,而且在代码上不可靠。此外,它也很难识别有标准正确答案的文本,例如你很难判断“1+1=2”是人类还是AI写的。AI文本分类器很可能在儿童编写的文本和非英语文本上出错,因为它主要是在成人编写的英语内容上进行训练。
AI书写的文本可以通过编辑来逃开分类器的检测。OpenAI分类器可根据成功的攻击进行更新和重新训练,但还不清楚从长期来看检测是否具有优势。
OpenAI也提醒道,基于神经网络的分类器在训练数据之外的校准很差。对于与训练集中的文本有很大不同的输入,分类器有时可能对错误的预测非常有信心。

04.
结语:着重解决ChatGPT
在教育领域构成的风险


由于上述局限性,OpenAI建议在确定内容来源的调查中只使用分类器作为众多因素中的一个,并对AI产生的虚假信息行为的风险、对大型语言模型在教育领域构成的风险进行研究。
OpenAI正与美国教育工作者合作,讨论ChatGPT的能力和局限性,并为教育工作者开发了一个关于使用ChatGPT的初步资源,其中概述了一些用途以及相关的限制和考虑因素。

资源链接:

https://platform.openai.com/docs/chatgpt-education
通过将AI文本分类器公开,OpenAI希望从使用者那里获得更多有价值的反馈,以进一步改进OpenAI在检测AI生成文本方面的工作。
(本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容,未经账号授权,禁止随意转载。)



微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
OpenAI推出ChatGPT新试点订阅计划:起价为每月20美元用 AI 对抗 AI!斯坦福研究人员推出 DetectGPT,专门检测 ChatGPT 等模型生成的文本BB鸭 | ChatGPT“炸裂”升级性能大增;诺基亚将推出高端旗舰机;比亚迪特斯拉回应“停止合作”传闻;魅族20系列月底发布ChatGPT因访问量激增崩了;抖音否认3月1日上线外卖服务;百度将于3月推出ChatGPT产品丨邦早报ChatGPT 又遇“克星”!OpenAI 发布全新 AI 内容识别工具,成功率 26%生成式AI“狂飙” 微软开始向PC端推出ChatGPT功能中国会不会崩溃? 再被打针硬核观察 #899 OpenAI 发布检测 AI 生成文本的工具ChatGPT“克星”:用AI识别AI生成的文本,英语论文阅读笔记都能测出以色列自驾游(6)- 世界最古老的城市-耶利哥英伟达4070Ti 6499元起/ 微软要推出ChatGPT版Bing/ 苹果头显被曝售价3000美元... 今日更多新鲜事在此超级麻豆的《俄勒冈州行摄日记》再也不能用ChatGPT写作业了!新算法给AI生成文本加水印,置信度高达99.999999999994%7 Papers | AAAI 2023杰出论文奖;AI生成文本检测方法综述微信回应头像褪色,部分C刊不准隐瞒ChatGPT使用,微软推进裁员,Opera新版集成ChatGPT,这就是今天的其它大新闻!Opera跟进引入ChatGPT,侧边栏生成文章简短摘要娜娜(三)美信全球项目[OpenAI]推出GPT-4,ChatGPT炸裂大升级创新药研发ChatGPT呼之欲出,医图生科推出AceGPT能否复制OpenAI奇迹?冒充人类作者,ChatGPT等滥用引担忧,一文综述AI生成文本检测方法谷歌DeepMind宣布即将推出ChatGPT的强力竞争对手集成ChatGPT后必应日活量首破亿!微软推出Azure OpenAI ChatGPT 服务,GPT-4下周发布新西兰国宝级清肺神器,咽炎、干咳“克星”口臭的“克星”找到了!比牙膏、漱口水还好用!还能改善肠胃!一加Ace2发布;库克称iPhone还要涨价;百度谷歌将推出ChatGPT竞品曾推出阿尔法狗的DeepMind,为什么没能做出ChatGPT?|甲子光年ChatGPT引领AIGC!Lehigh最新《AI生成内容》全面综述,44页详述GAN到ChatGPT发展历程一颗GPU,秒出3D模型!OpenAI重磅新作:Point-E用文本即可生成三维点云模型ChatGPT讲座:ChatGPT并不神秘,但ChatGPT很神奇今日财经|抖音否认3.1上线全国外卖服务;微软推出ChatGPT产品美股大涨;传特斯拉将推出擎天柱,引爆4.5万亿市场《人民》是一大群有血有肉的人新 MacBook Pro 首发测评/Open AI推出ChatGPT检测器/DC宇宙公布新计划剽窃、作弊,ChatGPT竟偷偷生成了12篇署名论文!Marcus炮轰Ta变成CheatGPTOpenAI ChatGPT走红,DeepMind不甘示弱,推出剧本写作AI,一句话生成一个剧本《科学》禁止在学术论文中使用ChatGPT文本,《自然》:可以用,但要说明|环球科学要闻
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。