面向大模型训练,腾讯发布高性能计算集群:整体性能提升3倍
腾讯发布号称国内性能最强的大模型计算集群。
4月14日,腾讯云正式发布新一代HCC(High-Performance Computing Cluster)高性能计算集群。该集群采用腾讯云星星海自研服务器,搭载英伟达最新代次H800 GPU,服务器之间采用业界最高的3.2T超高互联带宽,为大模型训练、自动驾驶、科学计算等提供高性能、高带宽和低延迟的集群算力。
腾讯表示,实测显示,腾讯云新一代集群的算力性能较前代提升高达3倍,是国内性能最强的大模型计算集群。
2022年10月,腾讯完成首个万亿参数的AI大模型——混元NLP大模型训练。在同等数据集下,将训练时间由50天缩短到11天。如果基于新一代集群,训练时间将进一步缩短至4天。
网络层面,计算节点间存在海量的数据交互需求,腾讯自研的星脉网络,为新一代集群带来业界最高的3.2T的超高通信带宽。实测结果显示,搭载同样的GPU卡,3.2T星脉网络相较前代网络,能让集群整体算力提升20%,使得超大算力集群仍然能保持优秀的通信开销比和吞吐性能。并提供单集群高达十万卡级别的组网规模,支持更大规模的大模型训练及推理。
更多互联网行业爆料,以及职场资讯,职业技能经验分享
关注我,给你好看
内容来源于网络,如有侵权,请联系删除。
【回复“健康指南”,Get《程序员健康指南》电子书】
【回复“1024”,Get 程序猿求职面试葵花宝典电子书】
微信又改版啦,如果不星标,很容易错过我们的推送!还请各位小伙伴动动您那将要升职的小手,点击右上角将将西二旗猿圈儿“设为星标”,及时接收每篇推送~
如果您能在觉得信息对周围的朋友有帮助的前提下,分享给他们也了解下,那就是对晚上还在加班的小编最大的鼓励了。
微信扫码关注该文公众号作者
戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章