Redian新闻
>
国产版GPT接踵而来,算力平台谁来支撑?

国产版GPT接踵而来,算力平台谁来支撑?

财经


19.03.2023

本文字数:1886,阅读时长大约3.5分钟


导读:在国产版GPT接踵而至的背景下,目前国内的算力平台还不足以提供支撑,这也成为制约我国大模型发展的重要瓶颈。

作者 | 第一财经 钱童心

上周,百度推出基于大模型的AI聊天机器人“文心一言”,成为国内首个冲进GPT赛道的互联网企业。3月18日,第一财经记者从达观数据获悉,该公司自主研发的大型语言模型“曹植”系统也取得突破性进展,有望成为国内大规模语言模型中首批可落地的产业应用级模型。


在国产版GPT接踵而至的背景下,目前国内的算力平台还不足以提供支撑,这也成为制约我国大模型发展的重要瓶颈。



垂直大模型也需要上千张GPU


据介绍,“曹植”与ChatGPT和“文心一言”这类更加通用的大语言模型不同,是专注于垂直、专用领域的模型,目标是赋能金融、政务、制造等多个垂直领域。


达观数据创始人CEO陈运文对第一财经表示:“‘曹植’在垂直领域内的理解和生成的任务上都达到了很好的效果。目前在一些技术细节方面还在调优,未来达观数据将建立多个垂直领域的专用语言大模型,整体功能会很有特色。”


他举例称,基于达观AIGC智能写作能力,可适配各类材料申报业务场景,基于已有各结构化类数据,快速撰写各类制式和非制式文档,应用于公文、招投标、投行申报文档、法律文书等专业写作场景。


华为公司创始人任正非近期也对ChatGPT发表看法。他表示:“未来在AI大模型上会风起云涌,不只是微软一家,人工智能软件平台公司对人类社会的直接贡献可能不到2%,98%都是对工业社会、农业社会的促进,大家要关注应用。”


ChatGPT带动了自然语言处理整体上下游以及芯片的思考和发展,某种程度上大模型也很可能成为下一代技术发展的基础设施。中国建立自己的基础模型体系已成为必然需求,在这一发展过程中,目前国内企业面临的普遍问题是算力不足。


陈运文向第一财经记者坦言,训练一个垂直的大模型可能需要上千张GPU芯片集群。“现在面临的问题是,我们需要的GPU数量还远远不够,远水解不了近渴。”他对第一财经记者说道,“集群需要的GPU数量很多,建设周期长投入大。”


目前支撑包括ChatGPT大模型在内的95%用于机器学习的芯片都是英伟达的A100(或者国内使用的替代产品A800),该芯片的单价超过1万美元。此外,英伟达最新一代的H100芯片的性能也远超A100,但价格也更高,约合25万元人民币。


除了单个的芯片之外,英伟达还出售一个包含8个A100的服务器系统DGX,售价接近20万美元。分析师和技术专家估计,训练GPT-3等大型语言模型的耗资可能超过400万美元。


这对于大多数中小企业而言几乎是不可能承受的开支。在陈运文看来,如果有超大中心能够提供算力租赁的模式,将会解决中小企业很大一部分算力不足的问题。“国内现有的租赁平台的问题是算力规模还太小,而且价格太高。”陈运文告诉第一财经记者。


企业探索减少对算力的依赖


在GPT这类大模型问世前,国内几乎没有任何应用场景需要用到如此大的算力。第一财经记者了解到,商汤科技等国内企业都拥有自己的超算中心,但这些平台仅向定向合作客户开放;而阿里巴巴等对外出租的超算平台的的算力仍然不足以满足目前大量的大模型需求。


复旦大学自然语言处理实验室邱锡鹏教授此前也表示,该实验室开发的大语言模型MOSS受制于算力资源不足的问题。据介绍,MOSS是基于32张英伟达A100芯片算力。相比之下,ChatGPT模型背后拥有约3万块A100芯片,差距接近1000倍。


对此,邱锡鹏认为,在资源有限的情况下发展大模型的方向是“用规模较小的模型找到特定的应用场景”,例如可以在企业内部私有部署,经过一些数据微调就可以转化为生产力。


作为GPT算力最重要的提供者,英伟达已经在探索新的商业模式。黄仁勋已经表示,英伟达愿意将人工智能的算力放在云端共享给企业。


“我们提供的价值是将原来需要投入10亿美元运行CPU的数据中心缩减为仅用1亿美元就能搞定的数据中心,现在将该数据中心放在云端共享,意味着可以由100家公司来分担这一成本,因此每家公司支付的实际上是非常少的费用。”他说道,“现在企业可以花一两千万来构建一个类似GPT的大型语言模型,这是可以支付得起的。”


不过也有业内人士指出,解决算力问题只是开发大模型的第一步。澜舟科技创始人CEO周明对第一财经记者表示:“虽然现在算力平台不足是行业面临的普遍问题,但是即便算力问题解决了,还是会有其他问题,关键在于对大模型本质的理解需要提升。”


周明表示,在美国现在大家也是一窝蜂地去搞大模型,其实很多人对大模型的机理理解还停留在比较初步的认知,包括大语言模型的工程化管理,缺乏独立思考的精神。


周明也同意,未来大模型的一个发展方向是,在算法上进行优化,从而减少对模型和算力的依赖。“比如用很小的GPU也可以做大模型,这个方向值得关注。”他对第一财经记者表示。


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
免费版GPT-4和GPT-3.5:随时切换,无限“白嫖”加拿大司法独立的宪政危机瑞幸联名哆啦A梦;阿里版GPT开启内测;GUCCI首家豪华沙龙概念店开业…| 刀法品牌热讯科技部出手,人工智能国家级算力平台浮现!罕见百亿成交,AI龙头创纪录国际气象局罕见警告洛杉矶:别出门!5号高速封锁,雷暴、冰雹、水龙卷接踵而至中国医学的未来,靠谁支撑?阿里版GPT通义千问实测来了!中文十级,数学、编程、情书全套整活独家|理想汽车算力平台VP许迎春离职,职级M10总要有一些爱好,来支撑生活的琐碎与疲惫算力芯片+服务器+数据中心,如何测算ChatGPT算力需求?用ChatGPT接私活!第一个单就赚了3K!复旦 “ 首发 ” 国产版 ChatGPT!名为 MOSS 惹群嘲,回应称:还非常不成熟阿里版GPT官宣:所有产品都将接入!张勇谈智能化时代核心战略百度出手,国产版 ChatGPT 要来了30天暴涨400%,Aptos 炒作背后有何基本面支撑?休斯顿马拉松义工经历和见闻任正非:面对 GPT,华为将做 AI 算力平台;特斯拉推太阳能充电管理;美再次要求 TikTok 出售 | 极客早知道DPU碰撞ChatGPT,算力效率会擦出哪些火花?凭什么!庄德利出轨90后下台谁买单?预算玩不好就扒你一层皮!松弛感令人羡慕,胖瘦自如的刘亦菲,背后是什么力量在支撑?早鸟报|阿里版GPT官宣内测;腾讯视频和抖音集团达成合作;喜茶城市冰箱贴引发跨城代喝现象...接踵而至,“他们为何排着队向中国表态?”美国波士顿,高楼林立巴克莱警告第二波银行存款外逃已开始 还有更多危机接踵而至阿里版GPT"通义千问"来了,公司官宣开始内测求求了,可千万别出国产版比GPT-4 Office还炸裂!阿里版GPT全家桶来袭阿里搞出脱口秀版GPT!与鸟鸟激辩一小时,话痨到停不下来…简评费米悖论ChatGPT接受采访,跟《时代》聊了聊严肃问题轻松打造家用版GPT-4!微软开源微调指令集:效果不输原版,中英双语都能用揭开FIFA的遮羞布 (下)- 掌握线人,FBI出手了概念股暴涨!ChatGPT国产版要来?这一赛道风口来临你看好哪家国产版类ChatGPT?再见,PPT!微软宣布PPT接入GPT-4,你的生活将会发生这8个变化……
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。