大家抱怨GPT 4变傻了,OpenAI却说没有没有!!!
本文首发微信公众号:飞总聊IT
今年4月份的时候,飞总在自己的粉丝微信群里面抱怨最近GPT 4怎么越来越笨,越来越不好用了。
当时就有一些群友反应,的确是越来越笨了。
这个事情不仅仅只有飞总一个人在说,很多老外也发现了。
比如这位:
这事情是不是胡说八道呢?
按照飞总的观察,GPT 4比最开始出炉的时候,快了不少,也笨了很多。
很多网友也是这样的判断。
由于这样抱怨的人越来越多了,OpenAI也受不了, 官方开始辟谣。
官方表示,我们没有把GPT 4弄笨。相反的,我们的每个新版本,都让GPT 4比以前更聪明了。
现在的猜测是:如果你用久了,你就会开始注意那些你以前没注意的问题了。
意思就是,GPT 4并没有变笨,只不过用户比较傻逼而已,一开始没注意到其实GPT 4并不聪明。
要说这回答能不能让我满意?我觉得反正我是不能满意的。
最开始的时候,GPT写东西的那个漂亮,4月份以后,我发现,写的就越来越不行了。
有一个说法,说GPT 4之所以变笨,是因为OpenAI开始训练一组类似于GPT 4,但是参数规模要更小的模型。
这些模型,每个聚焦在不同的领域,相当于是专家模型。
然后用户的问题来的时候,就可以让这些专家模型中的一个来回答。
这或许可以解释,为什么GPT 4看起来变笨了。
还有一种说法,是说OpenAI加强了对内容的审查。因为GPT 4的原始版本经常会脱口而出就说出来冒犯人的句子。
即使经过了reinforcemeng learning的调教以后,依然需要进行内容审查,以避免产生不好的内容。
这种内容审查不仅仅针对回答的结果,也针对输入的prompt。
而这种内容审查的严格,会导致大语言模型能力的下降。因为在禁止了不好的内容的同时,也禁止了模型自由自在的展开推理和自由发挥的可能性。
这是目前非官方的两种解释,用来解释为什么GPT 4越来越笨了。
我觉得两种解释,都有道理。
首先,我们不排除GPT 4为了节省算力,提高模型的效率,而替换底层的模型。毕竟大家都知道,目前OpenAI的算力紧张问题,一直没有得到有效的解决。
但是如果日志不公开,我们很难判断模型从发布以后到现在是不是进行过更新。
不过既然OpenAI的人公开说,每次更新都让模型变得更聪明了,这起码可以从侧面反应出来,模型是有更新的。
其次,内容审查,影响模型的自由发挥。这看起来就非常的靠谱。
毕竟模型里面是个黑盒子,没有人知道模型里面是怎么折腾的。
如果人为的进行特定的限制,人类也不知道,在限制了模型输出不好的内容的同时,还有什么东西被牺牲掉了。
所以,大模型和内容审查,应该怎么结合,这真的是一个让很多人头疼的问题了。
毕竟,大模型不像人写的文章,内容审核相对简单,我们总不能在大模型的输出端放一个人去检阅每一个输出吧。
如果真的这样搞,那还要人工智能干嘛?
我看内容审查的需求够这些个大模型吃一壶的。
文章最后再安利一下我的星球,星球聚焦ChatGPT和大语言模型的发展和应用,欢迎有兴趣的人加入一起讨论大语言模型的技术和商业相关的知识。
微信扫码关注该文公众号作者