Redian新闻
>
1天训完45亿参数大模型!高校计算能力首次比肩科技巨头

1天训完45亿参数大模型!高校计算能力首次比肩科技巨头

公众号新闻
衡宇 发自 凹非寺
量子位 | 公众号 QbitAI

“第一次,高校拥有了和科技巨头一样的计算能力。”

说这句话的人是中国工程院院士、阿里云创始人王坚。

他口中让高校计算能力倍增的,是复旦大学刚刚发布的云上科研智算平台。

名为CFFF(Computing for the Future at Fudan),由复旦、阿里云、中国电信等共同打造,以公共云模式提供超千卡并行智能计算,支持千亿参数的大模型训练。

这是目前国内高校最大的云上科研智算平台——67年前,我国第一架电子计算机(复旦601型电子积分机,1956年)诞生在复旦;67年后,复旦再次走在前列。

目前,首个基于CFFF平台训练的科学大模型成果已经对外正式发布,45亿参数的中短期天气预报大模型可一日训完

组成CFFF平台的两个计算集群,一个名为“近思”一号,一个名为“切问”一号。

两个名字都从复旦校训“博学而笃志,切问而近思”中采撷而来。

发布会上,首届世界科学智能大赛也正式启动,设置5大前沿研究赛道,赛题基于CFFF平台而来,目的是推动科学大模型落地。

CFFF是什么?

CFFF平台,全称Computing for the Future at Fudan。

这个名字被王坚解读为“计算,因为在复旦而创造了未来”。

两个计算集群共同组成了CFFF平台——

一个是面向高精尖研究的专用高性能计算集群“近思”一号,部署部署在复旦江湾校区;

另一个是面向多学科融合创新的AI for Science智能计算集群“切问”一号,托管在1500公里外的内蒙古阿里云乌兰察布数据中心。

两者分隔千里,但同声相应。

复旦大学浩清教授、人工智能创新与产业研究院院长漆远对CFFF平台做了进一步介绍。

据他讲述,基于百G高速数据传输网、阿里云大规模异构算力融合调度技术、分级存储技术、AI与大数据一体化技术,两个计算集群练成了一台真正意义上的“超级计算机”。

何以见得?

最直观的表现,复旦大学四校区的所有实验设备都能高速接入CFFF平,做到异构算力统一管理,计算任务统一调度,满足不同应用场景下的科学智能研究与应用需求。

此外,CFFF平台还拥有国内高校最大规模的多级数据冷热分层存储集群,解决了海量科研数据无法长期备份的痛点,并支持云上高速传输。

举个例子,以往PB级科研数据从复旦校内传到西部数据中心需要两周,如今当天就能完成。

有赖于公共云模式,跑在CFFF平台上的项目可享受到超千卡并行的智能算力,千卡并行的有效算力达到行业领先的92%,可拓展性达到万卡,万卡并行有效算力也可达90%。

同时,CFFF平台可实现年平均PUE小于1.2,每年节省总电力超过2000兆瓦时,年均节碳量达1500吨。

可以说是非常低碳了。

复旦校方透露道,CFFF平台从开始建设的第一天起,就收到来自复旦不同院系的多种研究需求,如生命科学、大气科学、材料科学领域,以及金融系统分析等社会科学研究领域。

平台上的云原生与低代码工程化AI开发平台,进一步降低了AI与科研融合的门槛。

目前,CFFF平台上的第一个科研成果已经诞生,并正式对外发布。

成果是45亿参数量的中短期天气预报大模型,来自复旦人工智能创新与产业研究院李昊团队。

在公开数据集上,该模型预测效果首次达到业界公认的ECMWF(欧洲中期天气预报中心)集合平均水平,并将预测速度从原来的小时级缩短到了3秒内

而这样一个45亿参数的大模型,在CFFF平台上完成训练,用时只需1天

中国科学院院士、复旦大学校长金力在现场提到:

CFFF设计成了开放的体系,我们非常欢迎产学研创新以及校企合作。但是从另一点来说,CFFF的建立表面上来看是解决算力问题,实际上不完全是。

它还必须解决两件事情,一是“让原来不会用AI工具的人,去用最好的AI工具”,二是“让原来不懂AI的人去懂AI”。

7名院士担任顾问,大赛7月25日开赛

“当前,AIforScience成为热点领域。”金力将CFFF称为复旦推动基础研究范式变革中的关键利器,“AI与科学的融合发展,开拓了科研的新范式。”

CFFF平台启动仪式现场,首届世界科学智能大赛也宣布启动。

从现场获悉,大赛由复旦联合阿里云天池平台、中国电信、中国信通院云大所等举办。

面向全球开放,拟邀请全球五大洲数千支队伍参赛,选手不限国籍年龄,高校、科研机构、企业、个人均可自由组队。

包括金力(生命科学家)、王坚(云计算专家)在内,共有7名院士担任本次大赛的顾问

共设置5大赛道,分别是生命科学、大气科学、材料科学、流体力学、量子化学,赛题基于CFFF平台设计。

其中,生命科学赛道,以生物学年龄评价与老年病风险预测为赛题,通过测量和分析生物体内特定指标或生理过程的状态,评估个体的生理年龄和健康状况。

大赛为参赛者开放了近万样本的个体甲基化数据以及其年龄、性别及老年病患病信息,期望参赛者能够基于甲基化测量对健康个体的年龄给出准确的预测。

材料科学赛道,以MOF材料的预测合成为切入点,探求计算成本更低、更高效、更精确的求解方法。

大赛整理了大量文献等,形成了1500种MOF材料的合成条件数据集,期待参赛选手基于此建立预测模型,准确地预测MOF材料的合成条件。

赛程显示,7月25日大赛初赛开启,9月底,各赛道分批开启复赛。

遴选出的优秀队伍将在11月进行线下答辩,角逐最终名次。

大赛设置100万元的奖金池,各赛道冠军奖金10万元。

所有进入复赛的选手都将获得CFFF平台算力免费支持。此外,阿里云也将提供了ML平台PAI的免费试用,及算力产品计算资源。

大赛网站:
https://tianchi.aliyun.com/2023CFFFPrize

大咖云集,锚定新技术,稀土开发者大会主会场直播有奖预约中

2023 年稀土开发者大会主论坛议程出炉!主论坛演讲嘉宾分别是:火山引擎副总裁&字节跳动开源治理运营负责人张鑫、英特尔软件与先进技术事业部研发总监杨继国、Google Cloud 首席架构师于有志、LVS 创始人章文嵩、火山引擎边缘云资深架构师徐广治、北京大学王选计算机研究所教授、CCF 自然语言处理专委会秘书长万小军,他们将聚焦生成式 AI、云原生、边缘云、ChatGPT等热门话题,深入分析新技术给未来产业带来的挑战和机遇。

主会场还将为「掘金引力榜」的获奖项目和个人进行颁奖。点击扫码进入官网,点击直播间,即可参与评论互动与极米投影仪抽奖!


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
树莓派上运行 Stable Diffusion,260MB 的 RAM「hold」住 10 亿参数大模型OpenAI对ChatGPT进行更新;百川智能正式推出70亿参数开源中英文大模型|AIGC周观察第六期GPT-4关键信息遭泄露;北京将发4000万元算力券;百川智能推130亿参数大模型丨AIGC大事日报王小川大模型首亮相!70亿参数霸榜,清北抢先用650亿参数,训练飙升38%!LLaMA基础大模型复刻最佳实践开源,GitHub已获30k星百川智能发布 70 亿参数量开源中英文大模型GPT-4计算能力差怎么破?把它当小学生,保证结果跟计算器一样准650亿参数,8块GPU就能全参数微调!邱锡鹏团队把大模型门槛打下来了!中科院出手!1000亿参数全模态大模型发布,能看懂视频、绘画作曲、分析信号我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果参数是ChaGPT的近6倍!英特尔公布AI大模型Aurora genAI,具备1万亿参数【尘封档案】系列之160:华南特案组之(二)李代桃僵(上)参数是 ChatGPT 的近 6 倍!英特尔公布 AI 大模型 Aurora genAI,具备 1 万亿参数十亿参数,一键瘦身!「模型减重」神器增强型 SmoothQuant,让大模型狂掉 3/4安卓手机上跑15亿参数大模型,12秒不到就推理完了拯救被困小狐狸650亿参数大模型预训练方案开源可商用!LLaMA训练加速38%,来自明星开源项目十亿参数,一键瘦身!「模型减重」神器让大模型狂掉3/4 | 最“in”大模型650亿参数,8块GPU就能全参数微调:邱锡鹏团队把大模型门槛打下来了七绝 归去来兮百川开源最强中英文百亿参数模型!超越LLaMA,中国开源大模型开启商用新纪元国内高校首例!支持千亿参数的大模型训练俄国的侵略战争 (Russia\'s Aggression War)华为最新大模型来了!盘古3.0问世,千亿参数规模3万亿tokens,放话「不作诗只做事」GPT-4参数最新爆料!1.76万亿参数,8个2200亿MoE模型,PyTorch创始人深信不疑Vision Pro 开发套件开放申请;《黑镜》主创曾试 ChatGPT 写剧本;千亿级参数大模型「书生·浦语」发布|极客早知道王小川大模型首亮相!70亿参数霸榜,清北抢先用|独家专访AMD放大!苏妈甩出最强AI芯片叫板老黄,可跑800亿参数大模型十亿参数,一键瘦身!「模型减重」神器让大模型狂掉 3/4复旦新作:单机微调650亿参数大模型;蚂蚁、百度参投AI大模型创企;杭州检方对AI换脸案提起公诉丨AIGC大事日报小米 AI 大模型首次曝光:64 亿参数;马斯克:敲定意大利「决斗」地点;美国防部成立生成式 AI 工作组 | 极客早知道54百亿参数大模型进化树重磅更新!85页盘点LLM发展史,附最详细prompt技巧爱奇艺VR公司业务停滞,员工或被欠薪;阿里云开源通义千问 70 亿参数模型,免费可商用;华为正式发布鸿蒙 4,接入大模型|Q资讯国产130亿参数大模型免费商用!性能超Llama2-13B,支持8k上下文,哈工大已用上祭遇害55年的林昭
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。