Redian新闻
>
独一档技术分享:低成本复现ChatGPT完整流程

独一档技术分享:低成本复现ChatGPT完整流程

公众号新闻


随着模型参数的指数型增长,为了加速模型训练和节省高昂资源成本,分布式训练成为主流。然而找到高效的大模型分布式训练方案是一个非常复杂的问题,目前常见的分布式大模型训练方案,都依赖用户人工反复调试以及系统专家的经验来进行配置部署,耗费大量时间与精力,这造成大部分AI开发者使用不友好。


Colossal-AI 提供了业界急需的一套高效易用自动并行系统。相比现有其他手动配置复杂并行策略和修改模型的解决方案,Colossal-AI 仅需增加一行代码,即可让单机训练模型获得分布式训练能力,并且原生支持包括 Hugging Face,Timm 等热门 AI 模型库。

同时,对于火爆出圈的ChatGPT,Colossal-AI在最新的开源方案中也给出了明确的支持,提供了首个开源低成本复现 ChatGPT 完整流程,1.62GB显存即可体验,单机训练实现7.73倍的提速,仅需一行代码便可极大降低单卡推理和微调任务的门槛。Colossal-AI支持单卡、单机多卡、1750 亿参数等多个版本,用户可以从 Hugging Face 导入 OPT,GPT-3,BLOOM 等多种预训练大模型。

Colossal-AI致力于降低 AI 开发者的使用分布式技术训练推理和微调大模型门槛,提供高效易用自动并行系统让用户轻松使用上复杂的并行策略,支持低成本复现ChatGPT流程让每一位用户都可以体验到大模型的魅力,希望每一家企业都可以通过大模型实现降本增效,体会到AI赋能带来的力量。


欢迎大家提前试用,开源地址:https://github.com/hpcaitech/ColossalAI



北京时间 2 月 20 日 19:00-21:00,机器之心最新一期线上分享邀请到了潞晨科技技术总监柳泓鑫和潞晨科技资深 AI 系统工程师刘育良,为大家解读 Colossal-AI 的技术细节。


分享主题:Colossal-AI助力自动分布式部署,加速大模型训练,并开源ChatGPT复现流程!

分享摘要:为极大降低 AI 开发者对大模型的使用门槛,Colossal-AI开源方案为业界提供了一套高效易用自动并行系统,大幅降低AI大模型训练的门槛,加快AI大模型部署和应用,同时为用户支持低成本复现 ChatGPT 完整流程,1.62GB显存即可体验。

嘉宾介绍:

柳泓鑫,新加坡国立大学硕士,师从尤洋教授,对大规模深度学习、AI System等领域有深入研究。现任潞晨科技技术总监,Colossal-AI最新开源方案 ChatGPT 完整复现流程主要贡献者。

刘育良,16岁考入南开大学软件工程专业,硕士毕业于新南威尔士大学人工智能专业。现任潞晨科技资深AI系统工程师,对深度学习分布式训练有深入研究,Colossal-AI自动并行方案主要贡献者。


论文链接:
  • https://arxiv.org/abs/2302.02599

  • https://arxiv.org/abs/2108.05818

GitHub 链接:https://github.com/hpcaitech/ColossalAI
 
直播时间:2 月 20 日 19:00-21:00

直播间:关注机动组视频号,立即预约直播。
会后材料:如果您希望获取嘉宾分享PPT与更多关于Colossal-AI的资料,请点击「阅读原文」填写邮箱地址等信息,会后为您发送。

交流群:本次直播有 QA 环节,欢迎加入本次直播交流群探讨交流。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
巴黎,巴黎(3)新加坡国立大学计算机系校长青年教授尤洋:低成本训练AI大模型的挑战与实践|GTIC 2023演讲预告集成ChatGPT后必应日活量首破亿!微软推出Azure OpenAI ChatGPT 服务,GPT-4下周发布你猜,今天我和谁一起看世界杯的决赛!反击!Google 版 ChatGPT 首次亮相,有一个功能「碾压」ChatGPTChatGPT低成本复现流程开源!任意单张消费级显卡可体验,显存需求低至1.62GB老 爸 阳 了!ChatGPT到底有多聪明?我测试了ChatGPT的数学能力为什么所有公开的对 GPT-3 的复现都失败了?复现和使用 GPT-3/ChatGPT,你所应该知道的剽窃、作弊,ChatGPT竟偷偷生成了12篇署名论文!Marcus炮轰Ta变成CheatGPT0门槛克隆ChatGPT方案再升级,开源模型完整复现,在线体验无需注册ChatGPT完虐三流留学中介?ChatGPT因访问量激增崩了;抖音否认3月1日上线外卖服务;百度将于3月推出ChatGPT产品丨邦早报ChatGPT通过谷歌程序员面试,薪资达18.3万美元!ChatGPT通过谷歌程序员面试,薪资达18.3万美元!零门槛复现ChatGPT:预训练模型数据集直接用,包含完整RLHF流程,在线可体验孟晚舟将首次出任华为轮值董事长/ 百度All in类ChatGPT项目/ 知乎因ChatGPT大涨50%…今日更多新鲜事在此万字长文解析!复现和使用GPT-3/ChatGPT,你所应该知道的百度版ChatGPT确定为“文心一言”/ 戴尔裁员5%/ 苹果要开会应对ChatGPT…今日更多新鲜事在此ChatGPT完虐大V金融民工会因为ChatGPT下岗吗?刚刚,我问了ChatGPT 24个金融圈灵魂问题华尔街交易员为何不担心ChatGPT抢饭碗?ChatGPT:我预测不了市场ChatGPT 核心技术大起底——InstructGPT:研究人类反馈数据比加大模型规模更重要!重磅!微软发布 ChatGPT 版搜索引擎,用上了比 ChatGPT 更强大的技术研究发现ChatGPT能影响人类的道德判断;科技部拟颁科技伦理审查办法:涉及人类胚胎、个人信息需审查|环球科学要闻为什么ChatGPT这么强?—— 一文读懂ChatGPT原理!跟李沐学ChatGPT背后技术:67分钟读透InstructGPT论文为什么所有GPT-3复现都失败了?使用ChatGPT你应该知道这些比尔·盖茨最新分享:ChatGPT的发展,不止于此邓小平垂帘听政胜过于慈禧太后ChatGPT讲座:ChatGPT并不神秘,但ChatGPT很神奇开源方案复现ChatGPT流程!1.62GB显存即可体验,单机训练提速7.73倍ChatGPT带火AI芯片,赚翻了的英伟达发布新核弹:ChatGPT专用GPU,让推理提速10倍!【收藏】温哥华最新15家精选新餐厅!外加dine out完整名单!岚煜生物:一张芯片解决一个病种,一台仪器就是一个检验科,构建基层POCT完整方案人老珠黄,树冻林红
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。