扎克伯格的Llama 3号称全球最强开源模型!却写不好这个……
要闻背景简述
4月18日,Meta发布了最新开源模型Llama 3,这个模型有80亿(8B)和700亿(70B)两个版本的参数。Llama 3是基于超过15万亿(15T)token的数据集进行训练的,数据集的大小是Llama 2的七倍,而且包含了四倍的代码数据。
扎克伯格表示,Meta提供的生成式AI能力在免费产品中性能是最强大的。他还说“我们的目标不是与开源模型竞争,而是要超过所有人,打造最领先的人工智能。”
该消息一经发出瞬间引起热议。英伟达高级科学家Jim Fan认为,之后可能会发布的Llama 3 400B以上的版本,将成为某种“分水岭”,开源社区或将能用上GPT-4级别的模型。
那么,Meta最新的开源大模型会带来
什么样的产业机会呢?以下是王煜全要闻评论
最近人工智能领域的一个新闻,就是Meta也就是Facebook推出了新的开源大模型,叫做 Llama 3,听名字也听得出来,就是他们的开源模型已经迭代到第三代了,从Llama到Llama 2,Llama 3。
虽然扎克伯格自己说他们并不是在和竞争对手竞争,但是我们应该反过来理解,也就是说开源模型的竞争也会日趋激烈。为什么呢?
因为这之前Google 已经推出了Gemma,我想Meta尽快推出新的版本,也是和应对开源领域的竞争是相关的。
所以我们说,未来在人工智能领域,尤其在生成式人工智能领域,中国人真的可以放心了。
因为虽然有足够强大的闭源大模型,就是OpenAI的GPT,它也有竞争对手就是Anthropic。那另一方面开源模型一点都不落后,包括像Meta的Llama 3和谷歌的Gemma。
那最重要的是,我们说未来两年会进入叫做终端智能的竞争阶段,那开源模型在终端智能当中后来居上,在终端智能当中占据更大份额的可能性是非常大的。
因为总的来说,现在闭源模型规模都很大,必须在云端才能得到充分的支持,而终端上肯定没有办法来运作,所以终端将来很可能会跑相对开源的模型。
所以我们说,中国不用过度地担忧美国对中国大模型的限制,造成中国人工智能的落后,因为美国企业之间的竞争还是相当激烈的,而且开源模型的竞争都相当激烈,所以中国是有的可使了。
我认为在未来的终端智能方面,甚至中国有反超的机会。一方面中国最擅长的其实就是在终端上制作各种应用,所以我们说未来这两年里很有可能会看到很多非常出彩的智能应用,手机终端上的智能APP,有可能出自中国开发者之手。
另一方面也很重要,就是中国本身的市场也有机会。我们创新地图的小伙伴们测试了一下这个Llama 3,总的来说还是不太好使,尤其是中文内容相对来说比较匮乏。
比如让它写一首七言绝句,结果他写出来是五言的,不知道七言是什么。那当然同样的问题去问GPT的时候相对来说就好很多,坦白讲写得不怎么好,但最起码是七言没错。
所以你会看到,可能连GPT在内都是中文语料的训练不足,所以它在应对中文问题的时候都表现得不够好,那这就给中国的开发者带来了机会。就是说我们用全球的开源模型着重在中文语料的训练上,或者着重在终端智能的开发上,就有可能后来居上。
这个中文语料讲究还真不少。尤其在写诗方面,我们都知道英文诗和中文诗是完全不一样的,其实绝句还不是最考验人的,最考验人的应该说是律诗,尤其是七律、五律。为什么呢?
因为绝句这四句诗不要求对仗的,到了律诗,尤其是主要是8句,中间第3、4句和第5、6句要求叫对仗。我们都知道中国人喜欢写对联,这是有更多的格式要求的。
当然绝句也有很多的平仄,就是声律的要求,读了一下,即使是GPT也都没有掌握这个平仄,也就是说他写的诗只是形似,只是七句一段而已,真正的中文的古诗格式没有完全掌握。
那这个说明什么?说明需要更多的训练,不是需要有中国人告诉它怎么写诗,而是充分地读完了足够的诗以后自己悟出来。
当然这又有另一个问题,就是音韵这件事古今是有变化的,就是我们今天知道这个格式是平平仄仄平平仄,这种平仄的要求。但是很多古诗是符合当时的平仄的,声音变到今天以后就不符合了,这就对大语言模型带来了格外的要求,你是不是还能读懂古音和今音的区别。
所以,中文特色要求越高,或者说中文文字语料输入的内容要求越高,那它的门槛就越高。
也就是说,不太可能从美国就把中国的这个市场就覆盖了,把中国的文字一输入就解决问题了,可能还需要中国的人工智能开发者们来努力,这当然就是给中国的机会了。我们还认为互联网应该是世界性的,所以中文的语料也应该向全世界输出。
更重要的是,我们应该在世界范围内做出更多的像终端智能这样人人都可用的应用,就相当于说有中文版的抖音,也有美国版的TikTok,全世界都爱用的这些智能APP,这才是我们大家应该努力的方向。
以上就是今天的内容,更多详细的产业分析和底层逻辑,我会在科技特训营里分享。欢迎关注全球风口微信号,报名加入。
王煜全要闻评论,我们明天见。
1. 前哨科技特训营直播课程第四季(2023年)共50讲+,除此之外还有5节加餐+公开课。 2. 每讲承诺为1小时视频内容,实际平均时长为2小时。 3. 每周四晚八点准时直播,会员可无限次观看回放。 4. 新入会员,可以无限次回看之前所有视频课程。 5. 成为会员即可使用【AI王煜全】,最新AI大模型开发的专属科技分析助手
6. 每周组织【前哨·创新启发局】,链接科技/产业一线人士,打开技术/应用前沿视野
7. 优先获取全球科技产业一线游学、访问机会,接触科技/产业专家,获取最新、最前沿的趋势洞察,人脉链接
8. 本课程为虚拟内容服务,年费订阅服务制。一经订阅概不退款,线下活动需另行支付差旅成本,请您理解。
微信扫码关注该文公众号作者