Meta推出Llama 2,不只免费还可商用!其实有人欢喜有人愁……
你好,我是王煜全,这里是王煜全要闻评论。
7月19日,Meta官方发布了开源大模型Llama 2,直译成中文就是羊驼2,预训练的Token为2万亿,上下文长度为4096,相比前代模型Llama 1来说,训练数据多了40%。
此次Meta一共发布了70亿、130亿和700亿三种参数规模的模型,他们还公布了训练数据、训练方法、数据标注等大量细节,宣称Llama 2在许多外部基准测试中都优于其他开源语言模型,比如推理、编码、熟练程度和知识测试等。
不少人心里大喜,开始宣称Llama 2可以平替GPT 4了。
但是,Meta已经在自己公布的报告中说明了,现阶段Llama 2的基准测试得分不如GPT-3.5,与GPT 4仍然有较大差距。
不过,基准测试的数据过于抽象,为了让大家有更直观的感受,我就在hugging face上初步体验了Llama 2模型。
我提出了一个经典问题:树上有10只鸟,猎人用枪打下了1只,树上还有几只鸟。
结果Llama 2的回答是9只,即使换成英文重复提问,结果也是一样,虽然GPT-3.5也回答是9只,但GPT 4会说如果猎人打下了一只鸟,那可能会把其他的鸟吓飞,所以Llama 2的理解力还欠点儿火候。
之后,我又给出一个简单的数学题:我在上周买了7个橘子放冰箱里了,昨天还剩4个,今天吃了2两个,冰箱里还剩几个橘子。结果Llama 2回答的结果是对的,计算过程却是错的。
如此简单的数学题都出问题,那么更加复杂的计算就无从谈起,更难以指望直接用它做严谨的编程工作。
所以,现在的Llama 2还称不上是GPT 4的平替。不过,它真正的价值并不是现有的性能,而是开源、免费、且可商用,这意味着它有巨大的技术调优和市场化应用潜力。
在如火如荼的大模型竞赛中,OpenAI一马当先占尽风头,谷歌也紧随其后,而微软和英伟达坐收渔利,相比之下Meta一直不温不火。
今年2月,Meta首次发布了自家的大语言模型Llama,定位于“开源的研究工具”,但是却结出了意想不到的果实,演变出了“羊驼家族”,比如华盛顿大学的原驼(Guanaco)、斯坦福的小羊驼(Alpaca)、加利福尼亚大学伯克利分校的骆马(Vicuna)等等。
其中的佼佼者是原驼Guanaco,根据该团队发布的测试结果,以GPT 3.5为100%基准分,原驼得分达到99.3%,而GPT 4得分是114.5%,谷歌Bard是94.8%。
也就是说,Llama 1经过技术调优后在理论上可以比肩GPT 3.5,其升级版Llama 2的想象空间就更为广阔。
最重要的是,Llama 1虽然开源却不可商用,所以大部分使用者为高校科研机构。但Llama 2却可以正式商用,即使在突破7亿用户后需要向Meta申请授权,也已经迈出了一大步,这一步颇有当年谷歌推出安卓系统的神韵。
其实,开源与闭源之争屡见不鲜,最典型的案例就是安卓系统。2007年,谷歌意识到苹果初代iPhone的巨大威胁,决定将安卓作为开源项目推出,由此开启了安卓与iOS二分天下的格局。
时至今日,根据Statcounter数据,截至2023年4月安卓系统已是全球第一大手机操作系统,市占率高达69%,iOS占31%。
安卓的开源让众多国内手机厂商能够快速推出优化版的手机系统,乘上了移动互联网的东风。软件厂商则直接基于安卓和iOS做应用模式创新,也就诞生了移动互联网时代的众多明星产品。
而Llama 2的商用化,意味着大模型领域也已经进入开源与闭源并行的阶段,可以预见到未来将会出现更多基于Llama的“羊驼家族”模型。
Hugging Face机器学习科学家内森・兰伯特估算Llama 2的训练成本可能超过2500万美元。这就意味着,Llama 2为大部分厂商节省了基础训练经费,也完成了很多基础研发工作。
据中国科学技术信息研究所发布的《中国人工智能大模型地图研究报告》显示,国内10亿参数以上大模型达79个,其中不乏所谓的通用大模型,比如文心一言、通义千问、紫东太初等等,大有百模大战的势头。
但现在,一些大模型研发机构可能要面临艰难的抉择,是继续投入大量成本和精力做从0到1的研发,还是放弃原有的投入,转而基于开源的Llama 2模型做优化。
然而,可商用的开源大模型,对于专注做应用模式创新的创业者来说无疑是一大利好。
我曾多次强调,这一轮生成式AI变革中最大的机会不是大模型基础平台,对于创业者来说,盲目地投入到基础平台研发中可能得不偿失,真正需要做的是找到具有广阔前景的市场,开拓与创新应用模式。
这也是我们做AI创业营的初衷,我们不需要在大模型平台中耗费精力,因为大模型平台的选项会越来越多,而我们真正要做的是找到它的能力边界,将大模型与实际业务结合起来,打造专家级能力,做到从1到N,尽快打造新一代的明星应用。
我们的第一届AI创业营本周末就结束了,之后的8月5号,创新地图会举办一场“前哨科技特训营·深圳分享会”,主题是《AI大模型时代的产业和创业机会》,此次活动为闭门分享,每个特训营校友最多可以买三张票,欢迎感兴趣的朋友扫描下方二维码报名参加,期待与你见面交流。
以上是今天的内容,更多详细的产业分析和底层逻辑,我会在科技特训营里分享。欢迎关注全球风口微信号,报名加入!
王煜全要闻评论,我们下周见!
1. 前哨科技特训营直播课程第四季(2023年)共50讲+,除此之外还有5节加餐+公开课。 2. 每讲承诺为1小时视频内容,实际平均时长为2小时。 3. 每周四晚八点准时直播,会员可无限次观看回放。 4. 新入会员,可以无限次回看之前所有视频课程。 5. 成为会员即可使用【AI王煜全】,最新AI大模型开发的专属科技分析助手
6. 每周组织【前哨·创新启发局】,链接科技/产业一线人士,打开技术/应用前沿视野
7. 优先获取全球科技产业一线游学、访问机会,接触科技/产业专家,获取最新、最前沿的趋势洞察,人脉链接
8. 本课程为虚拟内容服务,年费订阅服务制。一经订阅概不退款,线下活动需另行支付差旅成本,请您理解。
微信扫码关注该文公众号作者