从ChatGPT看AI的前景与挑战
以下交流内容均来自 星一研究院
ChatGPT 相对于其他竞品来说,
主要的创新点和技术壁垒在哪里?
如何看待目前国内外AI技术的差异?
目前全球还没有能够跟ChatGPT抗衡的大模型。而我国在人工智能领域已经有了很大的发展,在某些赛道上已经与美国并驾齐驱,但在聊天机器人领域,我们与国外的差距至少有2年以上,中国目前还没到弯道超车的阶段,首先需要做好基础工作。ChatGPT的核心技术是其基础模型,而国内目前基础模型训练的充分程度还还赶不上国外,模型需要巨量数据的训练才能进化完善。
OpenAI通过开放其AI模型的API调用,使真实的用户数据调用和模型迭代之间形成飞轮式的正循环(飞轮效应),随着用户的使用次数增长,其迭代速度也越快,这种模式推动了美国的OpenAI等创业公司的发展,也建立起了一个AI的生态;而反观国内,我们目前还没有能够形成类似的AI领域生态。
第二,算力的差距,训练模型需要高强度的算力支持,因为英伟达A100芯片禁令的问题,我国头部公司在算力方面还是不及国外的Google等大企业;第三,中英文数据的质量差距,整个互联网的中文数据的质量相比于英文有非常明显的差距,我们需要做中英文不同语言之间的数据互补;第四,OpenAI的成功源于其独特基因,即其纯粹的创新精神和长期主义,这家公司是非盈利组织,它做的东西其实业界早有耳闻,通过长期主义的坚持,将AI的基础研究(底座)做得非常扎实,它最后成功的背后是无数次的失败尝试,而我国目前缺少这样的公司;第五,ChatGPT极其烧钱,其大语言模型的单次训练硬件成本就高于3000万人民币,再加上人力等成本,企业至少要准备百亿美元的资金作为前期的投入,一般企业是没有如此财力的。未来随着产品的使用需求越发频繁,其还会面临着服务器扩容和硬件升级等问题,对于IDC数据中心而言,不仅有芯片成本的问题,还有能耗成本的问题。
如何理解ChatGPT的技术核心?
如何看待GPT+搜索引擎
对传统搜索引擎的冲击?
产品未来会带来知识产权的隐患吗?
目前还没有知识产权的问题,ChatGPT是属于新兴技术的生产力,生产力推动生产关系的发展,目前相关的生产关系还不完善。知识产权是生产关系问题,随着产品未来的应用,会倒逼法律、专利等生产关系的发展,目前还不会出现相关问题。
而就ChatGPT训练数据来说,是需要相关企业的数据授权的,比如商汤、寒武纪等公司的人脸识别数据,淘宝、微信的用户私人信息,都属于用户个人隐私,公司是不能把这些信息交给ChatGPT去训练的,公司唯一能做的就是脱密,把去隐私后的数据拿去训练。
该领域的竞争格局如何?
在ChatGPT战场上,意味着更大规模的“烧钱”:大语言模型的单次训练硬件成本已经突破3000万元人民币,加上投入的人力、智力、训练时间成本,各大巨头需要准备百亿美元,直到真正的市场赢家胜出。
拥有1750亿个参数的GPT-3因其巨大的每秒浮点计算量,单次训练成本达到460万美元。眼下最主流的英伟达A100芯片,单次训练的使用量应达到数百片,成本在3000万元人民币左右。
此外,服务器扩容和硬件升级的成本也将占据相当大的比例,一方面,自从2月7日开始,ChatGPT因访问量巨大,回复速度已经大大减慢,另一方面,维护GPU芯片的成本也非常高,芯片使用是有寿命的,损耗几次就要另作他用。
那国内机会在哪里呢?身处人工智能落地的巨大市场,拥有本土算法公司的产业链网络,国产芯片厂商仍拥有AI芯片的入场券。
该未来哪一领域会最先形成商业化的落地?
ChatGPT技术将产生三大颠覆性的创新业务:
1、达到人类对话效果的聊天机器人;
2、基于提问题给答案的智能搜索引擎;
3、自动生成各种作品(包括文档、绘画和图像、程序代码、音乐、诗歌等)。
除了诞生以上三大创业业务,以及未来在各行各业加速大规模渗透和应用外,更重要的是为未来的人形机器和元宇宙的大规模应用和落地铺平了道路,加速了人类进入数字时代。比尔盖茨认为ChatGPT是能够比拟互联网和PC诞生的一个产品,所以他愿意投资其100亿美元。
中美贸易战以及芯片禁令等会
如何影响ChatGPT行业在国内的发展?
ChatGPT的局限性?
1) 在训练的强化学习 (RL) 阶段,没有真相和问题标准答案的具体来源,来答复你的问题。
2) 训练模型更加谨慎,可能会拒绝回答(以避免提示的误报)。
3) 监督训练可能会误导/偏向模型倾向于知道理想的答案,而不是模型生成一组随机的响应并且只有人类评论者选择好的/排名靠前的响应。
4)要学会如何与 ChatGPT 沟通也需要技巧,因为它对措辞很敏感,有时模型最终对一个短语没有反应,但对问题/短语稍作调整,它最终会正确回答。不好的是,如果初始提示或问题含糊不清,则模型不会适当地要求澄清。
5)由于训练者更倾向于喜欢更长的答案,因为这些答案可能看起来更全面,导致输出倾向于更为冗长的回答,以及模型中会过度使用某些短语。
6) 造假。由于ChatGPT的设计初衷是用以对话式问答以及模拟人类的对话行为,ChatGPT在面对某些关键词检索场景时,虽然能够给出一定的解释,但却无法为用户提供足够有帮助的增量信息。而在面对某些模糊问题或是论述性问题时,ChatGPT为了能够使其回答更具有信服力,似乎选择了对其生成的部分内容进行造假。比如,当一位记者要求ChatGPT撰写一篇微软季度收益的文章时,ChatGPT为了增加文章的可信度,将微软首席执行官Satya Nadella的一次报价进行了伪造。
7)ChatGPT容易受到外界信息的影响。由于 ChatGPT 是具有学习能力的,模型能够记住此前与其他用户的对话内容,并将其进行复述。这就导致了用户将能够非常轻易地干预ChatGPT对于问题的判断与回答。
(芯光社出品,未经允许严禁转载)
芯光社ChipHub
👆 欢迎【关注】我们 👆
用心说,芯人芯事
关于我们:万氪Mancode旗下芯片专家&媒体平台,专注于材料科学、芯片、云技术与应用、人工智能等领域的科普和资讯平台。
专栏精选:讲述前沿光刻技术、芯片百科知识、分享行业报告。
芯人芯事:独特视角剖析时事新闻,讲述芯片人的职场故事。
此外,我们还提供资源对接、FA和企业品牌服务。
点击菜单栏“联系我们”,链接新的行业机会👍🏻
想与我们合作或提供爆料,均可联系 [email protected]
想与更多行业大咖互动交流 ?快扫码来加入芯光社交流群~
👇👇👇
< 微信添加请注明 “姓名-公司-职务” >
微信扫码关注该文公众号作者