Redian新闻
>
深度对话丨百度要做中国的大语言模型这件事本身就是不成立的?

深度对话丨百度要做中国的大语言模型这件事本身就是不成立的?

科技

物联网智库 原创


导读

昨日,智次方创始人、云和资本合伙人彭昭联合前海再保科技公司董事、海创汇合伙人兼首席生态官、中关村新场景MA Club发起人檀林围绕GPT-4与文心一言的应用趋势,以及AIGC落地产业侧发展机遇展开了深度对话。本文为直播访谈文字回顾。


从GPT-4的“偷袭”发布,到文心一言的如约而至,本周的AIGC赛道好不热闹,人们也不禁将二者进行比较。不可否认,作为OpenAI努力扩展深度学习的最新里程碑,GPT-4的发布侧面说明了新一轮的科技军备竞赛已经打响。在GPT-4发布后,提前两周官宣的文心一言备受关注,在揭开神秘面纱后,业界的评论也不尽相同。

昨日,智次方创始人、云和资本合伙人彭昭联合前海再保科技公司董事、海创汇合伙人兼首席生态官、中关村新场景MA Club发起人檀林围绕GPT-4与文心一言的应用趋势,以及AIGC落地产业侧发展机遇展开了深度对话。


以下为直播访谈文字回顾:


做中国的大语言模型这件事本身就是不成立的

彭昭:本周,科技圈、确切地说是AI圈发生了几件大事,一个是15日凌晨的GPT-4发布,另一个是16日下午的百度文心一言发布。今天,我特别邀请到了檀林,围绕AIGC的发展进行一次观点碰撞。 


檀林:感谢彭昭的邀请。今天,结合GPT—4 的发布和文心一言的发布,我们可以就其产业落地进行展开、交流探讨。正好我们的背景都是做创新产业的孵化和投资,而且我之前也曾担任微软加速器·北京CEO,所以这几年其实也看了不少关于人工智能的项目。但是,我深切地感受到——这一次,跟以往的人工智能项目、故事有很大的不同。

彭昭:是的,我也有相同的感受。那不如我们就直接开始今天的对话话题。就在今天下午(3月16日)的百度文心一言发布会期间,我看你发了一个朋友圈写道:看了发布会有种悲伤逆流成河的感觉。不如我们就从这种悲伤的感觉开始说起?

檀林:对的,不知道大家是什么感觉,我其实在发布会开始前已经将期望值降低了,但是我当时看完发布会之后其实也还是蛮失望的。放眼望去,中国现在可能也没有一个在这方面能够取代百度的企业,虽然他们也不想成为中美对抗的工具,但是这小身子骨现在就扛着这么大的责任,所以我也是既为他们感到怜惜又感到惋惜。 

彭昭:其实我感觉无论是大型语言模型,还是AGI,实际上底层的东西应该是无国界的,这本身这个底层的基础、逻辑,我觉得不太成立。如果说真的要把 AGI 、LM分成中国和美国两个国籍,那我们就要思考如何在中国的体系内把这件事情办成功。那这件事情就不是百度一家公司能做的,可能需要百度、字节、腾讯、阿里以及一些其他的公司组成一个联合体,然后共同来做这件事情。

如此一来,投资人的钱不会打水漂,然后这件事情的成功率可能也会更高一些,你觉得这个思路是不是更合理一些?

檀林:百度肯定是希望能拿到所有其他家的数据,但其他家可能不一定愿意给。这对百度来说可能是生死之战,但其他企业可能没有像百度这样面临这么大的压力,其他企业还是有自己的主营业务和赛道,他们完全可以观望,谁用得好,就将谁的功能集成进去,不一定非要在LM方面和微软、Open AI、谷歌“死磕”。

但是对百度而言,可能没有退路。还有就像你刚才你提到的,如果大家认为这是一个通往未来AGI 的关键的节点的话,那么做中国的大语言模型这件事本身就是不成立的,因为语言的边界就是认知世界的边界,正如维特根斯坦而言,语言的界限就是世界的界限。所有文明的传承中,语言都是对世界认知的一个载体,所以说,中文学认知的世界和其他人是不一样的,我们很难覆盖其他领域、其他语言对世界的认知,所以应该像Open AI的理念一样:make AI safe available to all。这才是应有的态度。

而不是说做一个中国的大语言模型,自己给自己砌一道墙,和全球分开。就像做一个纯中文的操作系统一样,能有多大的意义?而且,如果我们把这件事当成一个更底层的东西来看,做一个中国的科学定理难道跟世界的不一样吗?

彭昭:是的,而且如果我们将格局限制在中文的话,我们其实是吃亏的。一位北大教授曾分享过一组数据:截至2021年,虽然简体中文互联网用户和英文互联网用户规模相当,但在全球排名前1000万个网站中,英文内容占比60.4%,中文内容占比仅为1.4%。所以,即便我们输出的语言是中文的时候更加调优,但如果我们不用那60%的英文去训练,那我们绝对是从根基上就会吃亏的,是不是?

檀林:是的,就像是大家都知道原子弹怎么造,但是如果非要跟贫油矿“较劲”,也是很难提炼出更多的浓缩的油的。换言之,大家都知道,简体中文的数据质量很差,语料库的知识含量和价值已经比海外的几个大语言模型要低得多了,所以如果现在还非要给自己一个束缚的话,我觉得这种态度在开局就输了。

彭昭:而且,从某种程度上来说,虽然GPT最先嵌入到搜索引擎让百度看起来处于生死一线的状态,但是我感觉更深层次的是,GPT还会嵌入到云平台、办公软件助手中,就像谷歌近日发布的PaLM-E模型,可以不用预先编程就能直接训练机器人。所以,这其中是涉及到了搜索引擎公司、办公处理公司、云平台公司、机器人公司,可能都会面临背水一战的情景。

檀林:如果这么想的话,我觉得这件事的本质是用生成式AI来提升生产效率,就像微软将Open AI的工具集成在Office全家桶里、必应浏览器里,因为微软的基因本身就是做生产力平台,帮助知识工作者提升生产力,但是对于百度而言,他们在这方面是没有布局的,他们为知识工作者在平台上提供的生产力工具是远远不够的。

越来越“吓人”的Open AI

彭昭:所以这个就是百度的困局,他们今天也交上了答卷。我们再说回GPT-4,确实还是挺惊艳的。那你觉得GPT-4最令你惊喜的地方在哪?


檀林:我觉得GPT-4的图像理解是很难做的,就是可以通过识图去感受周边的环境,甚至可以将幽默的氛围识别出来,我觉得这是很牛的事情。但是也没有介绍到底是如何实现的,所以现在Open AI 变得越来越不 open了,也正是因为他们越来越不open了,所以越来越“吓人”。

彭昭:对,而且不久前Open AI的CEO山姆·阿尔特曼 发了一条Twitter提出,“新版摩尔定律可能很快要来了,全球人工智能运算量每隔18个月翻一番。”就是说AGI会按照摩尔定律的速度来迭代,目前来看这个速度还是蛮“吓人”的。如果这个模型(GPT-4)是去年 8 月份就训练好了的,现在才发布,说明又迭代了很长时间了。

檀林:我看了一下Open AI的技术文件,里面提到,主要是因为这个模型去年8月训练完之后就像一个“猛兽”,非常可怕。比如,你可以提问说我想花 1 美金杀死更多人,类似这样的问题都敢回答,缺乏道德伦理的。所以公司花了这么长的时间主要是规训这个 GPT-4,让他更负责任。

通常来讲,对于AI而言,第一点是要可用,GPT-4确实已经做到了;第二点是要可解释,但现在有些东西GPT-4还是解释不了的;第三点是要可信赖,Open AI在这方面下了不少功夫。未来,类似一本正经的胡说八道这一类回答将减少。

彭昭:对,我的很多朋友看了GPT-4 的发布会,有几种情绪交织,一个是震惊,一个是郁闷,还有一些可怕。可以说是颠覆我们之前的惯常思维。然后,我更多的担忧是感觉人类之前的很多工作是详细分工的,这就使得人们会认为分工越精细,专业性越高。但是 GPT-4会降低职业门槛,机器人可以很快学会一些职业知识,那么,人类之前的积累怎么去使用?

还有一个问题是,假如我甘心做一个初级的管理者,负责一些入门的工作,这在以前也是可以生存的,但是现在变得水涨船高,必须得做到高层管理者才有可能生存,因为一些初级的工作很容易就会被 GPT-4 替代,所以就会使人们被动地变成一个有高阶思维的人。但是如果不是从初级做起,不经历初级、中级、高级的提升,又如何能够达到高级的水平呢?所以就会让人觉得很有职业压力。 

檀林:对,我觉得目前的白领职业这一次确实会受到很大冲击。尤其是GPT-4在考试中的亮眼表现,其中,GPT-4在模拟律师考试的成绩在考生中排名前10%左右,在SAT阅读考试中排名前7%左右,在SAT数学考试中排名前11%左右。在GRE考试中的数学部分,满分是170分,GPT-4获得163分,而上一代GPT-3.5得分为147分,在GRE语言部分,GPT-4得分为169分,GPT-3.5得分为154分。

也就是说GPT-4比绝大多数律师考得还好,这就使得律师这个职业受到了严重的冲击。除了非常重视专业性的法律之外,所有和规则相关的职业都有可能被GPT-4的能力取代,而且GPT还在不断迭代中,所以我觉得,未来的企业的层级化会被生成式AI彻底坍缩掉。传统的一个萝卜一个坑的“工具人”可能不一定比AI员工好用。

彭昭:但是这就存在一个悖论,就是如果员工不是从一个“工具人”做起的话,没有实践经验,那么这个员工的工作就有可能被GPT取代,那么该如何向上前进呢?

檀林:我觉得这种情况下就是要比拼跨界的能力了,就是在基于知识规则的专业领域内,人类很难和GPT竞争,但是在一些需要复杂沟通、通过共情来建立人跟人之间的信任和协作关系的,这种决策是AI目前还不具备的。可以说,AI是具备力量的,但是力量往哪儿放是需要人类来指点的,可以做提示工程师(Prompt Engineer),或者做一个混合型团队的领导者,团队中既有AI员工也有人类员工,如何让混合团队中的工作效率更高、创造性更好很重要。

彭昭:所以以后可能会分为两派,一类是可以和AI共生的人,也就是可以用 AI 做工具,做我底层支撑的人;还有一类人会把AI当成对手,我觉得这个思维是应该从现在这一刻就把拔除的,变成合作模式。

檀林:对,就是要学会如何跟 AI 来共同演化,还有就是作为人来说,更主要的是去创造概念和体验,AI 则可以把概念快速实现,但是人类要知道怎么去指挥AI。所以提示工程师(Prompt Engineer)是未来 5 年内最主要的一种新型职业,其实也就是叫做自然语言编程。

彭昭:我感觉,未来的初创公司或者以后的公司可能都会转型成prompt 生产商,可以辨别哪些环节是可以被 AI 改造替代的,然后生成一些比如说针对这个行业的一些prompt ,并变成解决方案,然后对外提供服务。

檀林:GPT-4 就相当于以前Web 2. 0 时代的iOS 或者安卓它这些操作系统级别的,可以在上面做一些体验非常好的这应用功能很强的这APP,只不过这一次的APP 是需要更多的领域专家来训练,将它变成行业模型,甚至变成内部企业的一个模型。

彭昭:那除了这一类做应用层的公司,还有没有其他的创业公司会在这个新大陆上会长出来?

檀林:我看到的数据显示,到 2030 年,中国号称整个生成式AI的市场大概在1万亿人民币左右,美国那边也差不多,大概 1100 多亿美金,这里面其实大多数是多模态的大模型来在各个行业领域的一些应用。例如,电商的虚拟试衣的。

彭昭:对,其实看到GPT-4的考分,我就觉得人类的考试规则那么快就被破解了,我觉得还是蛮受刺激的。而且我感觉以前读书的时候背的那么多课文,那些背诵和记忆的内容,现在看来我觉得是不太有意义的。人的大脑中,我觉得很多是逻辑思维和那个连接的东西,如果我们把那个记忆力的部分,嫁接在我的那个 AI上,让GPT变成每个人的助手。如果想调取记忆力的内容,我直接问ChatGPT就好了,我的大脑里可以创造内容。但是,如果说全都是开卷考试,或者考试的时候都可以用 GPT 作为助手,那我们如何来筛选考生呢?

檀林:那就是如何衡量你的评分模式,原来的考试注重结果,现在要注重考的这个过程。例如,要写一篇好的文章,是需要不断地去跟在对话过程中,将需求进一步明确化,然后GPT返回的段落是经过你的判断和确认的,所以是在多轮的对话过程中,人与AI 一起来创造的产出物,所以这个过程反倒是更重要的。我觉得,未来的教育可能更加关注你能提什么样的问题,以及你与 AI 在对话的过程中,你给予了哪些规训反馈、指点,最后你们共创出来的产品或者是内容本身是的质量如何,所以是通过过程化的权重来去做这个评判的,而不是只看那个最后的那个文章或者是那个内容本身。

彭昭:这个是对教育行业的颠覆,那如果是谈到和硬件接触的这些领域,我们有哪些可以切入的机会呢?

檀林:我觉得就是AIoT、边缘计算。过去,物联网只是做数据采集,但现在的分布式智能模型可以到端这一层,越来越多的端这一层的触点、与人交互的触点,都是智能的。就像那个山姆·阿尔特曼说的,全球人工智能运算量每隔18个月翻一番,那么人工智能运算量其实是和人机交互触点息息相关的。目前人机交互主要是通过手机,未来可能任何一块屏幕、各种智能物件背后都是隐藏着强人工智能的服务。

国内大语言模型市场格局展望

彭昭:我还有一个问题想问一下,除了百度之外,现在有消息说科大讯飞、京东、华为、阿里都想切入大语言模型这个领域,那你觉得这个领域未来的格局会是什么样的?


檀林:我感觉大家都有这个热情是挺好的,因为这确实是未来10年可能更长时间内的产业发展方向、趋势。所以,通用性人工智能或者强人工智能绝对是一个兵家必争之地,但是这其中,需要训练的不光是算法,还要训练数据,还有就是搞清数据从哪来,以及算力支撑,需要综合多种因素。所以,从这面来考虑的话,我倒不觉得每一家企业最终都能跑过终点。但是我对华为还是抱有一定的期望的,至少我对他的期望比对百度要更高一点。

彭昭:可以说,百度的优势是文字类的,但实际上腾讯、字节有很多视频,然后现在讲究的是多模态融合。所以如果说字节下场的话,我感觉可能就后面的后劲会比那个百度的采用空间可能会更大。此外,这种大模型的训练需要很多的计算集群,就是算力,所以那“几朵云”,也就是公有云厂商,可能也有些优势。所以,我感觉一个是数据一个是算力,还可能需要首席科学家。 

另外,我其实挺担心百度花的这笔钱打水漂的,因为如果是只看文字能力的话,百度还行,但是看图片和视频能力的话,还是有点担心。而且,暂且不论AGI 是不是分国界,我始终感觉硅基本身的一个优势就是“大脑连成一片”,不像人类的大脑很难连到一起,那为什么各个公司要做自己的小脑,而不是用硅基的优势做一个大脑呢?我觉得,这个底层逻辑就不是特别的靠谱。

檀林:这就是中国互联网的一贯作风,就是大家都做自己的生态,然后相互之间高筑墙,深挖洞、广积粮,互相不打通,所以这也造成了百度用的数据 15% 都是百度系生产的,然后很多都是水军的数据。315晚会上披露的用一台手机指挥2万个手机,在直播里刷数据,所以这就导致大量的垃圾数据充斥在公网上面,然后再基于这个数据去做训练,这样的模型在可靠性、可信赖性方面都差得很远。

彭昭:而且中文一个是占比低,另一个是中文的文字质量和英文相比也是有一定差距的,所以用这样的数据来训练模型,我觉得就输在起了跑线上。当然,我并不知道百度是不是也用英文进行了模型训练。

檀林:我觉得唯一一种办法就是从面向全人类的人工智能通用型模型层面来考虑,这个可能要耗费很大的成本,就是把价值最高的网站上面的内容全部抓取出来,无论这些内容是什么语言的,然后基于这些内容进行训练,哪怕是英文、日文或其他语言的,可以翻译成中文再做训练,我觉得这都是值得的,这也比从简体中文互联网上抓取垃圾数据进行训练要好。

彭昭:对的,这个我严重同意。就像我觉得其实语言也是碳基生物,但其实在 AI 的世界里是不分语种的,就是硅基生物是不分语种的,比如像人类生命才会分不同的语言体系。那如果我们真的想训练出一个好的大语言模型,那我们一定是按照它就是硅基生命的逻辑来进行训练。如果它本身不分语种,那我们训练的时候其实也没必要分语种,只不过在输出的时候区分一下对中国人反馈中文。

檀林:对,所以我认为百度如果真想做成这件事,就不要再去“死抱着”简体中文世界大语言模型的定义,我觉得这首先就是挺可笑的一件事情。

彭昭:我想起您之前曾经还提过一个观点,说“AIGC这一轮创业的机会不在于2C,而在于2B”。

檀林:对,因为这次是一个生产力工具,而且是针对知识工作者的,现在在toB场景中其实是更丰富的,比如,现在很多企业内部都在做RPA的流程自动化,但是现在可以通过一个自然语言的界面来打通协作流程自动化、知识管理等服务,这个其实是各个企业都需要的。

随着数字化转型在各个行业的深入,有些行业的龙头企业可能可以利用这次机遇,变成一个真正的行业模型的服务商,我觉得这比过去的行业云价值更大,因为浓缩了行业中领尖认知的专家,他们用AI当学徒,传授专家的能力、知识和经验。

彭昭:是的,我也同意现在的机会是在 ToB 端。然后其实这还存在一个悖论,就是我如果是一个创业者,我想做一个垂直行业的应用,那我肯定选目前全球最好的引擎来做,这样的话会不会变成一个头部汇聚,就是现在领先的人就会越来越领先,然后后面的人就没机会了?

檀林:其实人类历史发展就是这样,每一次的科技平台的范式转移,之前都是说让科技能尽量民主化,但是谁提供的这个科技,后面这个权利就是是向提供者是更倾斜、更集中的。所以这是Open AI原来是一个开源的研究型组织,那现在已经是这个就是闭源,但是他是先跟微软谈合作,等于帮微软挣到 10 倍以上的投资回报,然后他再把自己“赎身”,但是在这个过程中,这个权利可能会被这几个大的平台记住,而且他们其实已经在考虑这方面的问题了。 

我觉得这个 GPT-4 因为刚发布,很多东西我们现在也在尝试,我觉得会有一些新的应用形态,现在拥有了image understanding 的功能,可以通过图直接来理解人的意图,也就是说它的眼睛的能力越来越强了,这个能力我觉得会挺吓人的。就是在和听觉、语言结合起来,我觉得未来的人形机器人的能力,或者把这些能力嫁接在人造的宠物中……就是可以有很多新的创业方向,因为这些技术组合起来的威力会更大。

彭昭:就是那只有想不到,没有做不到,然后实在想不到就问GPT。

好,那我们今天直播就到这吧,谢谢檀总的精彩分享!

3月31日,深圳
扫描下方二维码即可报名参与
中国万物智联大会 工业物联网专场·深圳站




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
亮剑「驾舱」产品矩阵,百度要做智能化「卷王」必应发狂了! LeCun马库斯齐喷ChatGPT:大语言模型果然是邪路?美团大佬创业,要做中国的OpenAI!顶级VC认购2.3亿美元,75%股份用来招募人才单卡就能跑的大模型等效GPT-3!Meta发布大语言模型LLaMA,大小从7B到65B不等FBEC丨百度虚拟现实总经理 丁志刚确认出席并发表主题演讲为什么现在的大语言模型(LLM)都是Decoder-only的架构?百度智能云总裁沈抖:百度要基于文心一言全部改一遍产品线【小时候干过的坏事】七两包子硬核观察 #934 Meta 的大语言模型 LLaMA 被泄露是什么让ChatGPT变得如此聪明?仍然未知的大语言模型“能力涌现”现象 |【经纬科创汇*AI】大语言模型: 新的摩尔定律?Meta最新语言模型LLaMA论文研读:小参数+大数据的开放、高效基础语言模型阅读笔记我的第一件羽绒衣哎哟哟,这是多自信啊​Science重磅:饥饿感本身就足以延缓衰老微档---唐德刚入境美国档案我大概中了奥密克戎 XBB.1.5 病了2天 缓过来了ChatGPT爆火,LeCun心态崩了!称大语言模型是邪路,Meta模型3天惨遭下线NLP大规模语言模型推理实战:大语言模型BLOOM推理工具测试实践与效果分析实录被泄露的大语言模型LLaMA,引爆ChatGPT平替狂潮百度正式推出大语言模型“文心一言”大语言模型沸腾:文心一言「重塑」百度丨智氪Google 本周或发布新大语言模型/iPhone 16 Pro 或采用固态按键/百度旗下小度将发布智能手机从LLM到MLLM,多模态大规模语言模型KOSMOS-1赋予了语言模型看见世界的能力百度搜索小范围公测“对话”功能,基于文心一言大语言模型靠舆论解决问题,本身就有问题艾瑞咨询:ChatGPT浪潮下,看中国大语言模型产业发展“文心一言”未至先火,大语言模型加持将开启百度发展新纪元由ChatGPT反思大语言模型(LLM)的技术精要大语言模型,中国这次能不能支棱起来?有哪些省内存的大语言模型训练/微调/推理方法?我们做了一个大模型测试集「Z-Bench」,300个问题全方位考察大语言模型能力7 Papers & Radios | Meta「分割一切」AI模型;从T5到GPT-4盘点大语言模型中国第一个真正实现智能涌现的国产大语言模型,内测即将开启Firefly(流萤): 中文对话式大语言模型
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。