谷歌深夜放出大杀器?Gemini打爆GPT?别太浮夸!
你好,我是王煜全,这里是王煜全要闻评论。
一年多来,谷歌一直在试图追赶OpenAI,想夺回AI领军者的宝座,最近他们发布了新的大模型,号称比GPT更强,但效果如何呢?
北京时间12月7日凌晨,谷歌官网发布了新版大模型Gemini 1.0,分为Ultra、Pro和Nano三个版本,也就是高级版、专业版、微缩版。
他们声称,Gemini专业版在八项基准测试中,有六项表现都比GPT-3.5强,其中有数学、物理、历史、法律、医学等57个科目组成的“大规模多任务语言理解测试”等等。
而且,他们还拿高级版直接和GPT-4做了对比,结果显示,它在阅读理解、代码生成等十多项比拼中都比GPT-4得分更高。
另外,谷歌还说Gemini是一种“原生的”多模态大模型,从一开始就针对文本、图像、视频、音频等不同格式的数据进行了预训练,所以在多模态表现中比GPT-4V更强。
在演示视频中,工作人员把一个纸团藏在3个纸杯中的一个下面,并打乱杯子的位置,Gemini还是成功猜中了结果。
看起来,Gemini既有评测对比,又有视频演示,还取了一个霸气的标题“欢迎来到Gemini时代”。
结果,很多媒体开始大肆宣传,有的说谷歌大杀器终于来了,有的说Gemini打爆GPT4了。但是,它真的像宣传中那么厉害吗?
实际上,号称超越GPT-4的Gemini高级版还没有正式推出,据说要等明年才会上线,所以,除了谷歌自己做的评测和演示视频之外,其他人很难验证他们的说法。
虽然现在还无法测试高级版,但是,谷歌已经把Gemini专业版植入到Bard里了。谷歌说他们专门调教了Bard,让它在理解、总结、推理、编码和规划等方面的能力更强。并且,在第三方盲测中,Bard是最受欢迎的免费聊天机器人。
要知道,今年2月份Bard刚刚发布时出了不少问题,导致谷歌股价大跌7%。现在在新模型的加持下,Bard进化到什么程度了呢?
我们提出了一个经典的老问题,“树上有10只鸟,猎人用枪打下了1只,树上还有几只鸟?”几个月前,Meta推出Llama 2的时候,我们就用这个题目测过一次。
那么,Bard是如何回答的呢?它做了一番计算,原来有10只,打掉了1只,10-1=9,所以答案是9只。
GPT-3.5是怎么回答的呢?它也说有9只,但做了补充,说枪声可能会吓跑几只,所以不确定最后剩下几只。而GPT-4直接说一只都没有,因为都被吓跑了。
看起来,Bard回答得有条不紊,还说出了推理过程,只可惜结果是错的,所以,很难说它的文字理解能力已经超过了GPT-3.5,更别说GPT-4了。
除此之外,谷歌宣传Gemini是“原生”多模态大模型,那么咱们就测试一下它的看图能力吧。
我们发给它一张有8片树叶的图片,问图中有几个物体。结果,Bard回答说有5片树叶,它还贴心地从网上另外找了一张树叶图片,问题是,它找的图片里也不只有5片叶子。这样的图像理解能力实在称不上强大。
因为默认的GPT-3.5还没有看图功能,我们就把图片发给GPT-4了,结果它很干脆地说出了正确答案。
其实,国内外很多厂商在推出大模型产品的时候,都会对标GPT。虽然很少有人声称比GPT-4强,但有不少人说自己的模型超越GPT-3.5了,还会搬出各种测试跑分结果。
不过,很多测试都是基于已有数据集的测试,相当于有题库的考试,也就是说,测试分高不一定代表实际体验更好,而可能只是这类的训练做得多。所以,现在就说Gemini已经打爆GPT-4,还为时尚早。
其实技术是否领先没有外界想得那么重要。更重要的是,GPT-3.5是去年发布的,GPT-4是今年3月发布的,他们成功吸引到了大量用户,帮助自己完善了产品。现在,在技术初步成熟之后,发布了GPT Store的OpenAI已经开始进入商业化、生态化探索阶段了。
他们不只把GPT深度植入在微软全家桶服务中,还推出了客户定制版的GPTs功能,据统计,现在已经有34000多个GPTs工具了。这些动作的本质目的都是抓住用户,吸纳更多的数据,也就能够更快地迭代模型。
相比之下,谷歌还处于技术跟随阶段,在商业化模式方面还没有在突破性进展。谷歌向来就是以技术为核心的公司,商业化一直是弱项,Bard又缺少GPT那样的用户基础和微软生态,缺乏足够的用户反馈,单纯的技术跟随很难实现超越。
现在虽然谷歌自己主张Gemini赶上了GPT-4,但是,Sam Altman也说过GPT-5已经在开发中了,到时候谷歌依然会落后,依然在追赶。
当然,谷歌也并非没有反超的可能,他们也有一个巨大的用户入口,那就是谷歌搜索。如果他们能下决心用大模型重构谷歌搜索,而不是只植入一个Bard功能,就能用搜索的巨大流量帮助自己快速完善产品,那倒真有机会实现赶超。
但是,谷歌早已不是当初那个挑战雅虎的初创公司了,无论是对收入利润等经营业绩的考量还是基于领导层的决策风险,都不敢轻易颠覆谷歌搜索这样带来公司主要现金流的的支柱业务。而且,谷歌的公司治理结构就不支持这种壮士断腕式的举措。
但另一边,随着人工智能、短视频等新技术的发展,人们获取信息的渠道正在发生变化。有不少人用GPT加联网功能来搜索,汇总起来也更方便,另外,根据皮尤研究中心的调查,30岁以下的美国人中,有三分之一都在Tik Tok上获取新闻,所以,传统搜索引擎很可能面临“温水煮青蛙”的局面。未来谷歌搜索的流量会缓慢下滑。
与之相比,微软却快速意识到了危机,即使把自己的核心业务与另一家公司绑定,也要对自己的核心产品做AI转型。
也就是说,微软对产业趋势的洞察更加前瞻,也敢于做大刀阔斧的变革,而谷歌还沉浸在重夺技术宝座的征途中,他们的前景很可能有巨大的差别。
谷歌和微软都是相对成熟的企业,但现在成熟企业也经常会面临技术升级带来的两难选择:到底是主动放弃盈利业务去找死,还是维持现状看着技术过时业务消退地等死。微软在公司治理结构上的安排使他们巧妙地避免了这个两难选择。
下周的科技特训营课程中,我们就会分析微软、谷歌、Meta等大型科技巨头的发展状况与前景,并深入剖析微软是如何走出技术革命的两难困境的。感兴趣的朋友扫描下方课程海报中的二维码,报名加入吧。
以上是今天的内容,更多详细的产业分析和底层逻辑,我会在科技特训营里分享。欢迎关注全球风口微信号,报名加入!
王煜全要闻评论,我们下周见!
1. 前哨科技特训营直播课程第四季(2023年)共50讲+,除此之外还有5节加餐+公开课。 2. 每讲承诺为1小时视频内容,实际平均时长为2小时。 3. 每周四晚八点准时直播,会员可无限次观看回放。 4. 新入会员,可以无限次回看之前所有视频课程。 5. 成为会员即可使用【AI王煜全】,最新AI大模型开发的专属科技分析助手
6. 每周组织【前哨·创新启发局】,链接科技/产业一线人士,打开技术/应用前沿视野
7. 优先获取全球科技产业一线游学、访问机会,接触科技/产业专家,获取最新、最前沿的趋势洞察,人脉链接
8. 本课程为虚拟内容服务,年费订阅服务制。一经订阅概不退款,线下活动需另行支付差旅成本,请您理解。
微信扫码关注该文公众号作者