大模型引爆算力缺口,智算中心是正“途”
百度云途腾总裁刘江涛
仅就算力而言,OpenAI为了训练ChatGPT,构建了由近3万张英伟达V100显卡组成的庞大算力集群。如果按半精度FP16计算,这是一个将近4000P的算力集群。而目前国内500P以上的智算中心凤毛麟角。有消息称,GPT-4达到了100万亿的参数规模,其对应的算力需求同比大幅增加,未来可能E级规模的算力集群才能满足不断增加的训练所需。今天,投身大模型的公司如雨后春笋般涌现,仅国内就有20多家,如果再算上围绕大模型的人工智能生态和由此产生的用于推理的算力需求,未来的算力缺口将更加惊人。
迈好第一步
以差异化抢占智算先机
微信扫码关注该文公众号作者
戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章