Redian新闻
>
聊GPT-4、文心一言之前,你需要知道的5件事

聊GPT-4、文心一言之前,你需要知道的5件事

财经

观点 / 刘润    主笔 / 尤安   责编 / 李桑
这是刘润公众号的第1841篇原创文章

昨天,一觉起来,美国的OpenAI正式官宣了大模型GPT-4 。
距离上次基于GPT-3.5的ChatGPT的推出,才刚刚过去105天。
科技进步的速度和力度,再一次让人震撼。
好像刚感叹完GPT-3.5通过谷歌程序员面试,GPT-4就已经把美国的模拟律师资格考试都考到前10%了。
转战到考场,也能把美国高考题(SAT考试),做出可以进哈佛的成绩。
甚至,还展现出了识图方面的巨大潜力。
我们总认为,不着急,还有很多AI做不到。
但是,AI一项一项,都做到了,而且是以超乎人们想象的水平做到。
于是,很多人开始着急,急着寻找机会。
但是在寻找机会之前,建议你,一定沉下心,再看一看。
看懂这个席卷了我们一次又一次的GPT,到底是什么?




GPT-4

已知,GPT-4,应该比GPT-3.5厉害。但是,到底厉害在哪儿?
GPT-4正式发布前,有2个猜测:
1,GPT-4的机器学习参数,将从1750亿个,增加到100万亿个。能力差距,堪比一个月薪1750元的人,和一个月薪100万元的人。
2,GPT-4将支持多模态,也就是文字、图片、音频,甚至视频等。能力差距,堪比一个聋哑且盲的人,和一个耳聪目明的人。
相当震撼的猜测。
而openAI的老板Sam对此的回应是:一派胡言(complete bullshit)。
真的是一派胡言吗?
实际发布的结果是:GPT-4的能力,看起来确实提升了。
但是:
1,具体学习参数,没公布。OpenAI只给这次迭代定了个性: “GPT-4比GPT-3.5更可靠、更有创造力,并且能够处理更加细致复杂的指令”。
2,支持多模态,但是就多了一个图片,并且只支持你输入图片,轮到GPT输出时,依然只打字回你。
进步的步子迈多大,不明确,但大方向,却是大致准确的。
要真正理解GPT,这2个大方向,建议你真的看懂:大模型,多模态。
先说说,这次GPT-4最亮眼的更新:多模态。
多模态,很了不起吗?




多模态

多模态是什么?
想象一下,同事忽然发你一句微信消息:“嘘,王总在你后面。”
你收到后马上回头,看到王总,打了一声招呼:“王总。”
这件事,要做到,很了不起吗?
很了不起。短短几秒钟,你一口气处理了文字声音图像等多种信息数据。
多模态,就是多种信息数据的模式和形态。
而这些种类不同的信息数据,比如你在消息里认出的文字,回头看到的一个图像,嘴里说出的一段声音,有时还指向同一个信息:“王总”。
对你来说,在多模态中识别和对应出同一个“王总”,很简单,好像没什么了不起。
但对GPT来说,却是一个远大的理想:跨越多个模态,处理更复杂的任务。
这个理想,为什么远大?
因为,要做到,你首先得有眼睛和耳朵。
升级前的ChatGPT,只能摸索着,用文字和你交流。
但升级为GPT-4后,ChatGPT从此有了“眼睛
你发它一张图片,它能“看到”,还能“看懂”,并以此为基础,帮你处理更多任务。比如,帮你P掉“王总”。
这,就是多模态之于GPT-4的意义:进化出了眼睛。
了不起。但,这还不是GPT-4进化的全部。




大模型

另一个被频繁提起的进步,是GPT-4的基本功——语言能力。
短短105天,GPT的语言模型,又得到了新一轮的进化。
一方面,“单词最大输出限制”,提高到了 25000 个单词。
原来,给它处理一篇文章,稍微字多点都不一定能发完整,现在,很多人甚至直接丢网页、PDF给它处理。
并且,在理解和回答问题,尤其是比较复杂的问题时,GPT-4也显得更聪明了。
怎么变聪明的?
简单来说,就是GPT-4的“大脑”变得更大,“神经元”变得更多了。
2018年的GPT,参数量是1.17亿。
2019年的GPT-2,参数量是15亿。
2020年的GPT-3,乃至后来基于GPT-3.5的ChatGPT,参数量是1750亿。
昨天发布的GPT-4,虽然官方没有公布具体参数量,但也没人会小看它的参数量。
GPT一出手,就是以亿为单位的参数量。而且每年还在疯狂翻倍。
这,就是提到GPT时,总会提到的“大模型”。
大量的参数,就像大量的神经元,这往往也意味着,更大概率能“猜中你想要的答案”。
人们常常把这种特点,称为:“聪明”。
GPT-4部分成绩单
想想这种量级的参数量,再看看GPT-4那些“碾压”人类的考试成绩单,似乎也能心理平衡了。
虽然,还是不太好接受:难道,要聪明到可以碾压90%的人类,只需要参数量够“大”就行了吗?
没那么简单。




训练

你有没有想过,当你打开ChatGPT的对话框,打出一个问题时,屏幕那边的ChatGPT,是怎么做这道题的?
比如你在对话框里问: “床前明月光,下一句是什么?”
作为一个人工智能,而不是人,ChatGPT从一开始,答题的路子,可能就和你完全不一样:
它根本不回忆,而是转头就去网上抓数据。看看都有哪些地方出现了“床前明月光”。
再用它那同时“考虑”上亿个参数的“脑子”算一件事:
排在这句之后的字,都有哪些?根据上下文,这些字是正确答案的概率都有多高?
然后转头就把算出来概率最高的文字,选出来,在对话框里回复你。
找组合,算概率,比大小。
你问的是语文题,它做的是数学题。
因为做数学题,才是模型的本质。
那,会不会做错呢?
会。如果,它从网上找的数据样本,刚好是一些错误很多的盗版书,最后通过计算,回复你的是“洒了一碗汤”,怎么办?
显然,模型并不在乎对错,但是人类在乎。
这时,人类就会做一件事:优化它,训练它。
怎么训练?
不如回想下,你是怎么做出这道题的?
首先你先在课本上看到过这首诗。
然后,再做过一些练习题。做完后对答案,有人告诉你对还是错。
对了,加分,你开心,从此记住答案是这个。
错了,扣分,你难过,再去找正确答案。
GPT,也差不多。
先“看书”,输入庞大的数据。
然后“做题”,并得到“反馈”。
做对,加分。做错,扣分。
和你不一样的是,AI不会开心和难过。
但,谁不喜欢分数高呢?
几亿个参数和相应的权重值都会根据这种分数反馈,再调整,再调整。
直到无限趋近于准确。
听起来是不是很完美?但,却有一个重大的难点。




成本

训练,是需要成本的。
参数量有多惊人,成本就有多惊人。
当一个需要同时“考虑”上千亿,甚至更多参数的“大脑”运转起来时,会需要哪些成本?
首先,每次训练,都能花掉上海几套房。
有数据显示,训练一次以GPT-3.5为模型的ChatGPT模型的成本,都要460万到500万美元。
此外,要入局GPT这种级别的产品,“入场券”也非常昂贵。
比如要达到相应的算力,光更早的GPT-3在训练中,都需要用到1万枚英伟达GPU芯片。
以目前比较主流的英伟达A100芯片为例,一颗价格约8万元。
每颗8万元,1万颗,一开局光是芯片的花费,都要8亿元以上。
如果看到这还有勇气考虑,不妨参考ChatGPT的公司OpenAI。
OpenAI在之前基于GPT-3.5的ChatGPT上,就至少付了2大笔钱:
交给“机房”的钱,比如算力和数据,就要近20亿元。
交给“人”的钱,比如科学家、工程师的工资,也要近5亿人民币。
这,还不算每天可能高达几万美金的电费。
而新出来的GPT-4, 作为“更聪明”的“大脑”,算力成本可能又是一个新的台阶。
这些,都是“聪明”的价格。
如此昂贵,却总有人愿意付。




最后的话

比如,陆续投资了ChatGPT近900亿人民币的微软。
微软的必应搜索,在目前的全球搜索引擎市场中,份额占比为个位数,排在它前面的,是份额占比超90%的Google。
但是,在搭载了ChatGPT后,必应在它的搜索框里,昂首挺胸地设置了这么一句话:
Ask me anything…
昨天,GPT-4发布后,微软更是骄傲地宣布:
新版必应搜索,已经在更早,就用上了GPT-4,过去五周中很多人体验的必应就是GPT-4加强过的。
今天,百度也正式发布了文心一言。
它会成长为中国的OpenAI吗?
现在,还不知道。
中国,会有属于自己的GPT-4吗?
现在,也还不知道。
但是可以明确知道的是:不容易。
数据不容易,芯片也不容易。
但是,我们面对这种不容易的情况,还少吗?
以前怎么办,现在就怎么办。
祝福。



推荐阅读:
战略,要有计划、有执行


2023年,确定性在哪里?3月20日,下周一晚八点

点击下方按钮预约,分享一些我的感悟

品牌推广 培训合作 | 商业咨询 | 润米商城 | 转载开白

请在公众号后台回复  合作 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
文心一言 vs GPT-4实测!百度背水一战交卷8点1氪:​抖音否认3月1日全国上线外卖服务;百度类ChatGPT项目定名“文心一言”;任天堂将全体员工基本工资统一上调10%爱德华王子岛骑行——第四天 格林威治国家公园百度将推「文心一言」,打响国内「ChatGPT」第一枪​少林寺宣布接入百度版 ChatGPT “文心一言”;​中消协点名智能电视套娃式收费;《羊了个羊》营收破亿……文心一言,一言难尽刘润:硅谷银行48小时闪崩,你需要知道的10件事GPT-4老板称害怕ChatGPT/ 李彦宏:文心一言符合预期/ 马斯克欠账不还…今日更多新鲜事在此百度王海峰:文心一言响应速度一个月提高十倍,后台成本大幅降低,缘于飞桨文心联合优化土耳其两次7.5级以上地震后,你需要知道的六件事刘润分享|硅谷银行48小时闪崩,你需要知道的10件事早鸟报|抖音回应上线全国外卖服务;百度类ChatGPT项目定名“文心一言”;美团一季度拟招1万人...和ChatGPT比,为什么百度即将发布的文心一言,我觉得是个智障?百度版ChatGPT确定为“文心一言”/ 戴尔裁员5%/ 苹果要开会应对ChatGPT…今日更多新鲜事在此百度这些年到底在干什么?揭秘即将官宣的中国版ChatGPT文心一言背后的故事!GPT4.0、文心一言……我筛选出了这些精彩解答百度官宣类ChatGPT大模型新项目:文心一言一加宣布超长更新维护;百度文心一言将迎战GPT4;京东:百亿补贴效果超预期三晒小姑子做的小年饭硅谷银行48小时闪崩,你需要知道的10件事从GPT-4、文心一言再到Copilot,AIGC从浪潮演化为生产力革新德国巴伐利亚州长接见西方艺术大师 代表作品集合“文心一言”上线前,我们去看了看它的心脏硅谷银行破产,你需要知道的10件事谷歌版ChatGpt犯下低级错误,市值蒸发超7000亿;李彦宏内部定OKR,百度搜索将直接接入文心一言;知乎股价暴涨丨雷峰早报亚马逊要求5月重返办公室 3万员工签名反对 ChatGPT“视频升级版”下周公布 将与百度“文心一言”对决刚刚,百度发布文心一言!对比GPT-4实测!百度顶住压力,背水一战最新实测|文心一言 vs ChatGPT,百度想在中文对话击败对手百度文心一言首次亮相!还对标不了ChatGPT,但别急着失望ChatGPT 上车,集度融合文心一言;传宿华离开创业做芯片,快手:严重不实;传马斯克有意 45 亿英镑收购曼联 | 极客早知道ChatGPT全球赛开场,李彦宏已无退路,百度文心一言今日正式开始邀请测试!周末愉快 过小年硬刚GPT-4,文心一言开口讲四川话!做海报剪视频,今日开测!百度的“ChatGPT”文心一言还有机会吗?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。