GPT-4解出难倒陶哲轩奥数题?语言IQ已达152,但空间推理巨差
新智元报道
新智元报道
【新智元导读】近日,一名外国小哥测出,GPT-4语言能力智商已达152,吊打绝大多数人类。好在,它的空间推理还不行。
GPT-4在语言能力上的智商,已经吊打人类!
最近,国外的一位小哥测试了GPT-4的智商,结果显示,它的语言智商已经达到了152。
而根据调查,人类的平均智商是90-109,单论语言智商的话,人类是妥妥地被GPT-4吊打了……
GPT-4的能力,我们此前早已耳熟能详。3月底,微软的一篇154页的论文,震惊全世界。
在这篇论文中,微软表示,GPT-4已经显现出了通用人工智能的火花,它可以被认为是通用人工智能的一个早期版本。
论文地址:https://arxiv.org/pdf/2303.12712.pdf
通过测试,微软的研究者证实:GPT-4不仅精通语言,还能在数学、编程、视觉、医学、法律、心理学等多样化和高难度的任务中表现出色,且无需特别提示。
最可怕的是,在所有这些任务中,GPT-4的表现都接近了人类水平,并且时常超过之前的模型。
下面,我们就来看看GPT-4在各方面能力上,哪些能吊打人类,哪些暂时还无法赶超我们。
为GPT-4量身打造IQ测试
首先,这位小哥上网搜索了一下免费的智商测试。
但他发现一个棘手的问题:这些智商测试,很多都是以图像的形式。
然而GPT-4,目前可以被认为还是一个「瞎子」+「聋子」,并没有读图能力。
怎么办呢?这位小哥随后意识到,肯定有专门为视力缺陷的人设计的智商测试。
他动手试了试,果然搜到了。然而,这种测试非常昂贵,需要花1500多刀,没法白嫖。
自己动手,丰衣足食。这位小哥干脆一不做二不休,自己上手,为GPT-4量身打造了一版智商测试。
难得倒陶哲轩,难不倒GPT-4
首先要测试的,是GPT-4的数学能力。
全世界最流行、最顶尖的数学测试是什么?自然就是国际奥数比赛。
世界上最伟大的数学家之一陶哲轩,就是在1986年参加的国际奥数比赛。
那一年,试题中的第6题,连他也解不出。
那GPT-4可以么?
小哥把这道题输给了GPT-4,结果是——它解出来了。
但是,我们并不能说,它就胜过了世界上最厉害的成年人数学家。
另外,它也无法证明孪生素数猜想。(要是能证明就有鬼了🤣)
小哥让GPT-4绘制一个方程式的坐标,也遭到了GPT-4的拒绝。
非常礼貌地恳求它,结果还是被婉拒了。
所以,GPT-4的极限到底在哪里呢?
这位小哥只能去查阅公开的文献。在OpenAI的官方论文中,GPT-4在SAT的数学考试中得分高于91%的人类,在其其他数学类考试中表现也很优异。
不善沟通的语言天才
接下来,小哥想测试一下GPT-4在人际关系智能(Interpersonal Intelligence),以及内省智能(Intrapersonal Intelligence)方面表现如何。
严谨的小哥先上网查了一下,何为人际关系智能——善于处理人际关系的人,他们能更好地理解他人,并和别人进行互动。这类人擅长评估情绪、动机、欲望,以及周围人的意图。
然后,他找了一篇SAT考试中的文章,将文章内容复制下来,把所有的和人物动机有关的问题也一股脑甩给了GPT-4。
GPT-4表现还算....出色?四个题对了三个。
然而,GPT-4却没有任何分析情绪的能力。
因为,按它自己的原话,它只是一个AI模型,并没有「自我」的概念。
那GPT-4的内省智能如何呢?
小哥表示,一个内省智能高的人,对自身优缺点有清醒的认知。
把这个当作prompt输入GPT-4,发现这模型对自己定位还是挺清晰的。
比方说,优点里有广泛的知识储备、反应迅速、多语能力、模式识别能力,以及可扩展性强等等。
而缺点包括缺乏个人经验、缺乏某些领域的知识、不太能理解上下文、文学解读、道德评判等等。
但小哥表示,这种认识程度还远远不够。总的来说,GPT-4的人际关系智能和内省智能,都一般。
小哥还给GPT-4测了一下口头语言的IQ测试,它得了152分。
对人类来说,这个分数意味着——你是个天才。
空间推理 小试牛刀
而转到空间能力这一块,GPT-4的表现就不容乐观了。
本来,小哥想让GPT-4直接做一套空间推理的选择题。
但是,OpenAI未来才会慢慢开发GPT-4的识图功能。
在OpenAI发布的视频中,研究人员上传了这么一张图片,然后问GPT-4,如果把绳子剪短会怎么样。
GPT-4表示,那气球就会飞走了!
小哥和GPT-4下了把井字棋,通过文字输入控制走棋。
但GPT-4在深谙规则的情况下,耍赖了。
本来该小哥赢,让GPT-4帮自己在最下面一排的中间画一个圈三连。
GPT-4可倒好,直接把最上面一排的圈擦了,画了个自己的叉。作弊取胜。
ChatGPT:魔方?我不会啊
为了进一步测试GPT-4的空间理解能力,小哥祭出了大杀器——魔方。
要知道,对人类来说,魔方也是衡量一个人空间感的方法之一。
首先,因为GPT-4不能看图,所以要先想办法用文字描述魔方的状态。
熟悉魔方的朋友对下面这个图应该不会陌生。在公式中,我们常常会用若干字母,或字母加一个撇号来代表不同的操作。
一般魔方正对我们,不同的旋转对应不同的表达。就像下面这样。
小哥在视频中做了一个示范,确保GPT-4领会了这个意思。
两任总统的RAP对决,泰裤辣
微信扫码关注该文公众号作者