Redian新闻
>
"AI框架"与"AI中台"在大模型训练实践中如何发挥作用?| Q推荐

"AI框架"与"AI中台"在大模型训练实践中如何发挥作用?| Q推荐

公众号新闻

大模型已经成为了各个应用领域的标配,而支持大模型训练和部署的 AI 基础设施也变得越来越重要。

为了保障大模型的成功落地,需要构建起全栈的 AI 基础设施,包含 AI IaaS 和 AI PaaS,其中 AI IaaS 提供海量的算力和资源调度、任务管理的能力,解决资源效能的问题。AI PaaS 为大模型提供并行策略和优化过的环境,覆盖训练的全生命周期,解决开发效率的问题。

为了让大家更全面地了解 AI 技术的前沿发展趋势及技术实践,百度智能云团队特推出《大模型时代的 AI 基础设施——百度 AI 大底座》系列云智公开课,该课程围绕“云:AI 算力构建”、“智:AI 框架和 AI 中台”、“实践:大模型训练实践”三大主题展开,由多位专业大咖倾情打造,揭秘核心技术,直击行业痛点。

过去一个月,第一模块“云:AI 算力构建”的四讲课程已上线直播,为大家陆续剖析了《大规模 AI 高性能网络的设计和实践》、《GPU 容器虚拟化新能力发布和全场景实践》、《面向大模型的存储加速方案设计和实践》、《向量检索在⼤模型应⽤场景的设计和实践》。接下来的一个多月,我们将继续围绕“AI 框架和 AI 中台”、“大模型训练实践”两大模块进行深度探索:

第五讲 《飞桨大模型分布式训练技术》:
  • 了解飞桨核心分布式训练技术以及在大模型训练场景中的应用;

  • 了解如何根据实际场景选择合适的飞桨分布式训练技术。

第六讲《飞桨大模型推理部署高性能优化 》:
  • 了解大模型推理的需求、难点、应用场景;

  • 了解大模型推理加速的常用方法、加速原理和关键技术。

第七讲《大模型 LLMOps 工具链与文心千帆大模型平台》:
  • 了解大模型技术发展趋势;

  • 了解大模型训练推理的主要环节及挑战;

  • 了解什么是企业级大模型 LLMOps 工具链和基础设施;

  • 了解百度 AI 大底座中的文心千帆大模型平台的核心技术。

第八讲《百度百舸平台的大模型训练最佳实践》:
  • 了解不同大模型对基础设施资源选型和规划的要求;

  • 了解在百度百舸平台中如何进行环境搭建和使用;

  • 了解训练过程中典型故障处理方法和性能调优技巧。

第五讲课程《飞桨大模型分布式训练技术》上线时间为 2023 年 7 月 19 日 19:30,目前课程报名通道现已开启,立即点击【阅读原文】进行报名,还有机会抽奖赢取周边大礼哦!

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
大模型训练太难了!ICML 2023 | 轻量级视觉Transformer (ViT) 的预训练实践手册只给大模型LeetCode编号,也能解题!大模型表现好是源于对训练数据的记忆吗?请不要迷信大模型LLM大模型训练Trick系列之拒绝采样类GPT模型训练提速26.5%,清华朱军等人用INT4算法加速神经网络训练AI大模型训练背后,一条数据产业链正在形成RLHF vs RL「AI」F,谷歌实证:大模型训练中人类反馈可被AI替代Alluxio助力AI大模型训练阿里首提前向训练框架:让大模型深度思考,可快速定制专属模型从狂热到理性:大模型训练三堵墙,一场少数人的游戏防止AI胡说八道!OpenAI公布最新大模型训练方法,监督AI像人类一样思考英伟达H100霸榜权威AI性能测试,11分钟搞定基于GPT-3的大模型训练慰安妇与铁链女: 写在母亲节是孩子教会了我们爱方圆脸如何发挥个人优势?来学这个法式油画妆!RLHF 实践中的框架使用与一些坑 (TRL, LMFlow)大模型训练成本降低近一半!新加坡国立大学最新优化器已投入使用国内高校首例!支持千亿参数的大模型训练实践中,老板应当拿出多少股权进行激励?顶层股权架构如何设置?减少内存消耗、降低大模型训练成本,ACL杰出论文作者揭秘CAME优化器你是我报答不完的人大模型的思想钢印:如何让ChatGPT相信水是有毒的?​中文信息处理实验室最新研究揭示虚假信息在大模型中的扩散机制通过循环训练实现忠实的低资源数据文本生成斯坦福博士独作!大模型训练速度再翻倍,还官宣加入明星创业公司当首席科学家Chanticleer花园,春天感受Meta连甩AI加速大招!首推AI推理芯片,AI超算专供大模型训练百度百舸平台的大模型训练最佳实践如何构建大模型时代下的智能算力?| Q推荐亲情的呼唤传统算法是如何在销补调计划中发挥作用的谷歌火力全开!新一代芯片TPU v5e炸场,大模型训练飙升5倍,成本砍半LoRA继任者ReLoRA登场,通过叠加多个低秩更新矩阵实现更高效大模型训练效果DeepSpeed ZeRO++:降低4倍网络通信,显著提高大模型及类ChatGPT模型训练效率"日本将在乌战后发挥更大作用,没人比他们更懂重建"速领!怎样让这套神教辅发挥最大作用?手把手教你吃透它!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。