Redian新闻
>
面向大模型训练,腾讯发布高性能计算集群:整体性能提升3倍

面向大模型训练,腾讯发布高性能计算集群:整体性能提升3倍

公众号新闻

腾讯发布号称国内性能最强的大模型计算集群。

4月14日,腾讯云正式发布新一代HCC(High-Performance Computing Cluster)高性能计算集群。该集群采用腾讯云星星海自研服务器,搭载英伟达最新代次H800 GPU,服务器之间采用业界最高的3.2T超高互联带宽,为大模型训练、自动驾驶、科学计算等提供高性能、高带宽和低延迟的集群算力。

腾讯表示,实测显示,腾讯云新一代集群的算力性能较前代提升高达3倍,是国内性能最强的大模型计算集群。

2022年10月,腾讯完成首个万亿参数的AI大模型——混元NLP大模型训练。在同等数据集下,将训练时间由50天缩短到11天。如果基于新一代集群,训练时间将进一步缩短至4天。

网络层面,计算节点间存在海量的数据交互需求,腾讯自研的星脉网络,为新一代集群带来业界最高的3.2T的超高通信带宽。实测结果显示,搭载同样的GPU卡,3.2T星脉网络相较前代网络,能让集群整体算力提升20%,使得超大算力集群仍然能保持优秀的通信开销比和吞吐性能。并提供单集群高达十万卡级别的组网规模,支持更大规模的大模型训练及推理。


更多互联网行业爆料,以及职场资讯,职业技能经验分享

关注我,给你好看

内容来源于网络,如有侵权,请联系删除。

【回复“健康指南”,Get《程序员健康指南》电子书】

回复“1024”,Get 程序猿求职面试葵花宝典电子书】


微信又改版啦,如果不星标,很容易错过我们的推送!还请各位小伙伴动动您那将要升职的小手,点击右上角将将西二旗猿圈儿“设为星标”,及时接收每篇推送~

如果您能在觉得信息对周围的朋友有帮助的前提下,分享给他们也了解下,那就是对晚上还在加班的小编最大的鼓励了。


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
一万亿参数,512个昇腾910训练,华为PanGu-Σ大模型来了机器学习与因子模型实证:怎么进行模型训练?科学匠人 | 李琨:执著于高性能计算研究的“别人家的孩子”OpenAI CEO 亲自辟谣「GPT-5传闻」:目前没有训练,短期内也不会训练临细朱文和满白文哈佛大学 Mark Elliott 教授介绍的一段小故事 (中文)Meta连甩AI加速大招!首推AI推理芯片,AI超算专供大模型训练Vite 4.3正式发布,性能提升,为应对Rust写的Turbopack?阿里达摩院大模型公开课上新!主讲中文个性化对话大模型ChatPLUG和模块化多模态大模型mPLUG-OwlArm新一代架构发布:CPU能效提升40%,GPU性能提升15%H800国内首发!腾讯云推出大模型算力集群,集群算力提升3倍字节参战!火山引擎推出大模型训练云平台,自研DPU实例性能提升3倍ICLR 2023 | 微软提出自动化模型训练剪枝框架OTO,一站式获得轻量级架构AI 智能编程工具 aiXcoder 推出企业版,采用百亿级规模参数大模型进行个性化训练,支持私有化部署只给大模型LeetCode编号,也能解题!大模型表现好是源于对训练数据的记忆吗?请不要迷信大模型自动驾驶生成式大模型 DriveGPT 来了:基于 4000 万公里量产车驾驶数据训练,参数规模 1200 亿当GPT-4反思自己错了:性能提升近30%,编程能力提升21%人类首个“反AI联盟”四问AI风险 暂停大模型训练遭遇不同意见有没有帮助识别鸟叫的APP?刚刚,腾讯发布2022年ESG报告,阿里、京东布局已久谷歌砸了4亿刀的Anthrophic:AI模型训练计算量5年增加1000倍!英伟达发布ChatGPT专用GPU,性能提升10倍,还推出云服务,普通企业也能训练LLM夫妻相处模式决定婚姻走势腾讯发布对自媒体违规账号公告,苹果 iOS16.4.1正式版发布,余额宝出现乱码,快递电子运单标准实施,这就是今天的其他大新闻!大模型训练一次200-1200万美元!ChatGPT多烧钱?广东篇:加快培育发展先进材料产业集群等十大战略性支柱产业集群、十大战略性新兴产业集群欧洲用教堂建高性能计算中心,背后还是中国技术输出防止AI胡说八道!OpenAI公布最新大模型训练方法,监督AI像人类一样思考第四范式开源强化学习研究通用框架,支持单智能体、多智能体训练,还可训练自然语言任务!训练速度提升17%活动预告|芯片设计高性能计算技术研讨会 6.8 深圳每天少使用15分钟手机,可增强免疫、改善睡眠;让GPT-4自我反思:性能提升近30%,编程能力提升21%|本周值得读CVPR 2023 | 可扩展的视频基础模型预训练范式:训练出首个十亿参数量视频自监督大模型高性能计算关键组件核心知识墨西哥邮轮:城堡华丽富贵,却留不住寂寞的心腾讯加入 AI 大战,首发国内最强显卡,性能提升 3 倍
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。