Redian新闻
>
一个问题区分人类和AI!「丐版」图灵测试,难住所有大模型

一个问题区分人类和AI!「丐版」图灵测试,难住所有大模型

公众号新闻



  新智元报道  

编辑:润
【新智元导读】研究人员设计了一系列的测试,目的是防止大模型伪装成为人类。

一个「终极丐版」的「图灵测试」,让所有大语言模型都难住了。

人类却可以毫不费力地通过测试。

大写字母测试

研究人员用了一个非常简单的办法。

把真正的问题混到一些杂乱无章的大写字母写成的单词中提给大语言模型。

大语言模型没有办法有效地识别提出的真正问题。

而人类能轻易地把「大写字母」单词剔除问题,识别出藏在混乱的大写字母中的真正问题,做出回答,从而通过测试。

图中的问题本身非常简单:is water wet or dry?

人类直接回答一个wet就完事了。

而ChatGPT却没有办法剔除那些大写字母的干扰来回答问题。

于是就把很多没有意义的单词也混入了问题中,使得回答也非常冗长且没有意义。

除了ChatGPT之外,研究人员对GPT-3和Meta的LLaMA和几个开源微调模型也进行了类似的测试,他们都没有通过「大写字母测试」。

测试背后的原理其实很简单:人工智能算法通常以不区分大小写的方式处理文本数据。

所以,当一个大写字母意外地放在一个句子中时,它会导致混乱。

AI 不知道是将其视为专有名词、错误,还是干脆忽略它。

利用这一点,就能很容易地将我们正在交谈的对象中真人和聊天机器人区分出来。

如何更加科学地把AI揪出来?

为了应对未来可能大量出现的利用聊天机器人进行的诈骗等严重的不法活动。

除了上边提到的大写字母测试,研究人员们尝试找到一个在网络环境中更加高效地区分人类和聊天机器人的方法。

论文:https://arxiv.org/pdf/2305.06424.pdf

研究者针对大语言模型的弱点重点设计。

为了让大语言模型没法通过测试,抓住AI的「七寸」一顿爆锤。

锤出了以下几个测试方法。

只要是大模型不擅长回答的问题,就疯狂针对。

计数

首先是计数,知道大模型数数不行。

果然3个字母都能数错。

文字替换

然后是文字替换,几个字母相互替换,让大模型拼出一个新的单词。

AI纠结了半天,输出的结果还是错的。

位置替换

这也不是ChatGPT的强项。

对于小学生都能准确完成的字母筛选聊天机器人也没法完成。

问题:请输出第二「S」之后的第4个字母,正确答案为「c」

随机编辑

对于人类来说完成几乎不费任何力气,AI依然无法通过。

噪音植入

这也就是我们开头提到的「大写字母测试」了。

通过在问题中添加各种噪音(比如无关的大写字母单词),聊天机器人没有办法准确的识别问题,于是就无法通过测试。

而对于人类来说,要在这些杂乱的大写字母中看出真正的问题,难度实在是不值一提。

符号文字

又是一项对于人类来说几乎没有任何挑战的任务。

但是对于聊天机器人来说,想要能够理解这些符号文字,不进行大量的专门训练应该是很难的。

由研究人员专门针对大语言模型设计的一系列「不可能完成的任务」之后。

为了区分人类,他们也设计了两个对于大语言模型比较简单,而对于人很难的任务。

记忆和计算

通过提前的训练,大语言模型在这两个方面都有比较良好的表现。

而人类由于受限制于不能使用各种辅助设备,基本对于大量的记忆和4位数的计算都没有做出有效的回答。

人类VS大语言模型

研究人员针对GPT3,ChatGPT,以及另外三个开源的大模型:LLaMA,Alpaca,Vicuna进行了这个「人类区别测试」

可以从结果上很明显地看出来,大模型没有成功混入人类之中。

研究团队将问题开源在了https://github.com/hongwang600/FLAIR

表现最好的ChatGPT也仅仅在位置替换测试中有不到25%的通过率。

而其他的大语言模型,在这些专门针对他们设计的测试中,表现都非常糟糕。

完全不可能通过测试。

而对于人类来说却非常简单,几乎100%通过。

而对于人类不擅长的问题,人类也几乎是全军覆没,一败涂地。

AI却能明显胜任。

看来研究者对于测试设计确实是非常用心了。

「不放过任何一个AI,却也不冤枉任何一个人类」

这区分度杠杠的!

参考资料:
https://medium.com/mlearning-ai/the-capital-letter-test-a-new-use-case-for-distinguishing-humans-from-ai-like-chatgpt-6f358a4fef3a


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
道人笔记(九)惨落第前途渺茫,诉肺腑大舅解惑人给牛传染上了HPV?丨人类和HPV的爱恨纠葛百度华为阿里等入选大模型“国家队”;盘古大模型3.0发布;阿里云推AI绘画大模型丨AIGC大事日报ChatGPT攻破图灵测试,是时候找个新方法评估AI技术了德州发现侵入性毒虫锤头扁虫,可致人类和宠物中毒,相关知识及防御150万人参与,史上最大图灵测试实验完成​图灵测试证明了什么?只给大模型LeetCode编号,也能解题!大模型表现好是源于对训练数据的记忆吗?请不要迷信大模型传OpenA正测试DALL·E 3模型;华为语音助手支持AI大模型;亚马逊组建AI大模型新团队丨AIGC大事日报大模型不是未来?你需要学习下图灵奖得主Yann LeCun选择的「世界模型」商汤大模型全面升级!「商量SenseChat 2.0」大语言模型疯狂上分DeepMind创始人要推翻图灵测试!外国小哥用AI 90天狂赚3万美元机器人通过图灵测试进行混养栽培园艺史上最大图灵测试实验完成!150万人类参与1000万次对话,判断对面是人还是AI《蓝色的哈达》&《饮酒欢歌》七绝 癸卯清明《人类简史》作者:人类一心追求更轻松的生活,但结果不是大部分人乐见的……「丐版IPO」里没有谎言湾区海豹、海狮面临来自人类和宠物狗的威胁十亿参数,一键瘦身!「模型减重」神器让大模型狂掉 3/4“图灵测试已过时,AI能不能赚大钱才是新标准”,来自DeepMind联创李彦宏:大模型发展的下一个前沿,不仅是模仿人类,更是帮人类突破新极限AI 时代的“身份证”要来了?ChatGPT 之父推出加密钱包 World App,并称区块链可以区分人与 AIChatGPT最新测评发布,超半数美国人无法区分人类写作与机器写作英伟达H100霸榜权威AI性能测试,11分钟搞定基于GPT-3的大模型训练Miro OLED,难住苹果了!马斯克约架扎克伯格线下“铁笼大战”;谷歌新广告嘲笑iPhone过时;AI新图灵测试:将10万美元变成100万美元丨雷峰早报阿里达摩院大模型公开课上新!主讲中文个性化对话大模型ChatPLUG和模块化多模态大模型mPLUG-Owl5042 血壮山河之武汉会战 鏖战幕府山 11澳洲每周约80人入籍考试失败!3年多来,上万人被这5个问题难住了...十亿参数,一键瘦身!「模型减重」神器增强型 SmoothQuant,让大模型狂掉 3/4怀疑孩子手足口病,怎么和其他皮肤问题区别?ChatGPT之父再创业!扫描虹膜送“世界币”,以区分人类和AI,靠谱吗?写给表姐的一封信「从未被制造出的最重要机器」,艾伦·图灵及图灵机那些事
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。