Redian新闻
>
ChatGPT到底需要多少算力?

ChatGPT到底需要多少算力?

公众号新闻
作者 | 尹洪昌
来源 | 选股宝

导语:假设未来有6家科技巨头能够在未来3年内各自拥有一款活跃人数2亿的ChatGPT类应用,则未来3年ICT硬件投资将新增需求1755亿元。

2月15日,ChatGPT概念再度大涨,其中算力方向关注度最高,神州数码、浪潮信息、华胜天成等多个服务器产业链公司涨停。

据中信建投研报数据,此前用于AI训练的算力增长符合摩尔定律,大约每20个月翻一番;深度学习的出现加速了性能的扩展,用于AI训练的算力大约每6个月翻一番;而目前大规模模型出现,其训练算力是原来的10到100倍。

财通证券分析称,算力的瓶颈其实并不体现在算力的绝对大小,而在于实现该算力的成本,那Chatgpt到底需要花多少钱?

训练成本及推理成本


Chatgpt成本主要可以拆分成训练和推理两个阶段。

据海通证券研报,训练阶段成本方面,援引Open AI测算,自2012年起,全球头部AI模型训练算力需求每3-4个月翻一番,每年头部训练模型所需算力增长幅度高达10倍。

而ChatGPT训练阶段总算力消耗约为3640 PF-days(即1PetaFLOP/s效率跑3640天)。据普超资本微信公众号,GPT-3训练成本预计在500万美元/次。

国信证券测算称,训练阶段每个Token的训练成本约为6N(推理成本为2N)。

由于每年训练成本都在快速下降,此处引用OneFlow的测算结果,在公有云中训练OPEN AI的GPT-3模型需花费训练成本约140万美元,Google的PaLM模型需花费训练成本约1120万美元。

推理成本方面,国信证券称为满足当前用户访问产生的推理成本,自建IDC初始投入约在4亿美元,租用云服务每日成本约28万美元。

根据Similarweb的数据,23年1月份当前ChatGPT日活约1300万人,每人平均1000字左右的问题,因此合计产生约130亿字(173.3亿个token)。

假设24小时平均分配任务,需要的A100 GPU数量为173.3亿*2*3000亿/(20%*24小时*3600秒)=601.75 PetaFLOP/S。

由于访问流量存在峰值,假定访问峰值是一天均值的5倍,因此共需要602台DGX A100服务器能够满足当前的访问量。

运营阶段,海通证券预计ChatGPT年GPU/CPU需求空间分别在7000万美元及778万美元。

根据CCTV4微信公众号,截至23年1月,ChatGPT积累了1亿月活跃用户。假设后续稳定运营时期,总访问量维持在2000万次左右,咨询量以8个问题计算,总咨询量在1.6亿次。

单个字大约在A100 GPU上消耗350ms,因此总GPU运行小时约为466667小时。因此,对GPU/CPU单日同时运转的耗用量分别为19444/4861个。

对应现有价格及替换周期假设,我们预计运营阶段,ChatGPT年GPU/CPU需求空间分别在7000万美元及778万美元。

GPT-4可能出现指数级上升

国信证券称,当前ChatGPT模型无法访问外部知识,仅依靠模型参数进行计算;如果将ChatGPT与搜索功能结合,如Bing等搜索引擎,其对算力资源的消耗将成数倍增长。

业内人士“小熊跑的快”最新文章测算称,对于未来GPT-4的预测,主要基于两个情景的预测:

1)参数百倍增长的需求——1个是GPT-4,参数的100倍增长。

假设到GPT-4,100w亿个参数,在不使用H100或者优化架构的假设下,那单日访问算力要求就是6万台A100,多少钱呢?仅给英伟达的算力投入就是120亿美金。

如果用H100,援引黄仁勋“在AI任务上,H100的FP8精度算力是A100上FP16的六倍”;单价假设是A100服务器的1.7倍(单片H100,4W美金,单片A1002.4万美金),即33.8w美金,为了维持GPT-4的运行,单日也需要1万台H100服务器,一次投入成本33.8亿美金。

2)访问量的百倍增长需求。

现在一切的假设都是基于1300万日活,一个人1000字的问题(10个问题,一个100字)进行假设,按照它的线性曲线,突破到日活1亿,如果应用终端好,突破到10亿也很快,它同样面临百倍算力提升的需求。

行业有望点燃基础设施需求

太平样证券指出,ChatGPT用户数快速增长,从应用到算力,将点燃基础设施需求。

民生证券指出,ChatGPT引领AI发展大潮,背后需要算力的快速提升,算力行业的发展已经是大势所趋,AI服务器、AI芯片等领域将迎来重要的发展机遇。

据太平洋证券研报,AI服务器方面,根据IDC最新发布的《中国加速计算市场(2021年下半年)跟踪报告》,2021年全年中国AI服务器市场规模达350.3亿元,同比增长68.6%。

市场格局方面,浪潮信息、宁畅、新华三、华为、安擎位居前五,占据了82.6%的市场份额。其中浪潮AI服务器市场占有率达52.4%,连续5年(2017–2021年)市场份额超过50%。

此外,招商证券称ChatGPT未来3年或将拉动千亿级ICT硬件投资需求。

其根据商汤科技官网,2022年1月24日商汤AIDC启动运营,该项目占地面积约5.8万平方米,总投资约56亿元,项目全部建成后AI计算峰值速度将达到3740Pflops。

以商汤AIDC为计算参考,每新建1Eflops算力需要投资15亿元,其中ICT硬件投资占比72%。则活跃人数每增加1亿人需要新增投资203亿元,其中ICT硬件投资146亿元。

假设未来有6家科技巨头能够在未来3年内各自拥有一款活跃人数2亿的ChatGPT类应用,则未来3年ICT硬件投资将新增需求1755亿元。若考虑到AIGC技术向音频、视频等方向蔓延,算力需求提升幅度将更为显著。

加入阿尔法工场投资者交流社群 | 添加微信:dlfxs2

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
ChatGPT到底有多聪明?我测试了ChatGPT的数学能力从BERT到ChatGPT!97页全面综述:那些年一起追过的预训练基础模型人老珠黄,树冻林红ChatGPT带火AI芯片,赚翻了的英伟达发布新核弹:ChatGPT专用GPU,让推理提速10倍!刷屏全网的ChatGPT到底是什么?保姆级注册教程来了(包教包会)!ChatGPT出圈,何处寻找喂饱它的算力?被多所高校“封杀”!火爆学术界的ChatGPT到底是什么???反击!Google 版 ChatGPT 首次亮相,有一个功能「碾压」ChatGPTChatGPT讲座:ChatGPT并不神秘,但ChatGPT很神奇孟晚舟将首次出任华为轮值董事长/ 百度All in类ChatGPT项目/ 知乎因ChatGPT大涨50%…今日更多新鲜事在此金融民工会因为ChatGPT下岗吗?刚刚,我问了ChatGPT 24个金融圈灵魂问题百度版ChatGPT确定为“文心一言”/ 戴尔裁员5%/ 苹果要开会应对ChatGPT…今日更多新鲜事在此银座蹓火爆全网的ChatGPT到底是啥?会抢谁的“饭碗”?我们和TA聊了聊ChatGPT通过谷歌程序员面试,薪资达18.3万美元!ChatGPT通过谷歌程序员面试,薪资达18.3万美元!吵翻天!ChatGPT到底懂不懂语言?PNAS:先研究什么是「理解」吧巴黎,巴黎(2)重磅!微软发布 ChatGPT 版搜索引擎,用上了比 ChatGPT 更强大的技术【直播预告】从ChatGPT到人工智能的前世今身集成ChatGPT后必应日活量首破亿!微软推出Azure OpenAI ChatGPT 服务,GPT-4下周发布ChatGPT到底有多厉害,会威胁你我的工作吗?ChatGPT到来后,教育面临怎样的解构?从BERT到ChatGPT,北航等9大顶尖研究机构全面综述:那些年一起追过的「预训练基础模型」巴黎,巴黎(1)剽窃、作弊,ChatGPT竟偷偷生成了12篇署名论文!Marcus炮轰Ta变成CheatGPT从BERT到ChatGPT,百页综述梳理预训练大模型演变史上教育局的黑名单,被微软投资100亿!热度狂飙,ChatGPT到底是什么?为什么ChatGPT这么强?—— 一文读懂ChatGPT原理!巴黎,巴黎(3)ChatGPT因访问量激增崩了;抖音否认3月1日上线外卖服务;百度将于3月推出ChatGPT产品丨邦早报华尔街交易员为何不担心ChatGPT抢饭碗?ChatGPT:我预测不了市场百度和ChatGPT到底有多少差距?算力芯片+服务器+数据中心,如何测算ChatGPT算力需求?全球都为ChatGPT疯狂,它到底是风口还是虚火?深度解读风暴眼中的ChatGPT | 直播预约AI绘画「凉了」!chatGPT到底还能火多久?炒作之后剩个啥!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。