Redian新闻
>
全网首发!Llama 3技术剖析、微调、部署以及多模态训练

全网首发!Llama 3技术剖析、微调、部署以及多模态训练

公众号新闻

Meta公司推出了开源大语言模型Llama系列的最新产品—Llama 3,包含了80亿参数的Llama 3 8B和700亿参数的Llama 3 70B两个版本。Meta称其为“迄今为止最强的开源大模型”。


Meta官方数据显示,Llama 3 8B模型在MMLU、GPQA、HumanEval等多项基准上均胜过同参数量级模型Gemma 7B和Mistral 7B Instruct,而70B模型则超越了闭源的当红模型Claude 3 Sonnet,并且效果上完全能与Google的Gemini Pro 1.5掰掰手腕。

那Llama 3在结构上跟之前的版本有哪些区别?它的预训练和Post训练是如何进行的?如何对Llama 3进行微调?基于Llama 3是否能构建出更优质的多模态大模型?鉴于这些问题,我们特意组织了一次对Llama 3的免费公开课,前面剖析它的技术层面以及应用。 

 

1. 不仅剖析原理,更有实操案例分享

本次公开课主题是《Llama 3技术剖析、微调以及多模态训练》,将剖析Llama 3的核心技术,讲解如何基于Llama 3进行模型的微调和多模态模型训练和微调。本次公开课不仅会讲解技术理论,也包括了结合Llama 3的模型微调和多模态大模型微调两个项目Case,从应用角度让大家对Llama 3的效果有直观的理解。


2. 公开课大纲

  • Llama 3结构剖析、与Llama2区别
  • Pretrain技术解释:GQA, RoPE等
  • Postrain技术解释:SFT, PPO, DPO等
  • Case:基于Llama 3-8B模型微调和部署
  • 多模态大模型结构如Mini-Gemini、LLaVA
  • Case:  结合LLama 3的多模态大模型微调


3. 分享嘉宾

李老师

人工智能、大模型领域专家

  • 多家上市公司技术战略顾问
  • 曾任金融科技独角兽公司首席科学家
  • 曾任量化投资初创公司首席科学家
  • 曾任美国亚马逊推荐系统工程师
  • 深耕AI领域十余年,授课培养AI学员数万人


4. 时间安排

北京时间:2024年4月29日,20:00-22:00


5. 适合人群

  • 想学习大模型及微调的开发工程师
  • 想深入理解相关技术的算法工程师



 🔥 即将开始
立即扫码添加老师,免费参加~

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
刚买的榨汁机又坏了37项SOTA!全模态预训练范式MiCo:理解任何模态并学习通用表示|港中文&中科院全网首发!被问爆的加拿大低年级留学生求职群,正式上线!已经买进少量的3/22到期的call,注意风险!【229秒 -> 69秒】部署时间缩短69%,ICBU商家技术部应用部署治理实践手机可跑,3.8B参数量超越GPT-3.5!微软发布Phi-3技术报告:秘密武器是洗干净数据一文读懂多家厂商的大模型训练、推理、部署策略多模态大模型不够灵活,谷歌DeepMind创新架构Zipper:分开训练再「压缩」吴恩达团队新作:多模态多样本上下文学习,无需微调快速适应新任务【讲座】Llama 3技术剖析、微调、部署以及多模态训练只需单卡RTX 3090,低比特量化训练就能实现LLaMA-3 8B全参微调[电脑] 一个未发布的神秘新核心显卡?Intel Arc Pro A60/50原厂专业卡全网首发评测!全网首发!NYU、哈佛、MIT…15所美国大学夏季书单来袭,第一本刷爆外网(附PDF)全网首发!BCG上线全新AI课程,也太适合0基础留学生了!AI早知道|百度即将发布全新App腾讯元宝;行业首发多模态大模型辅助视障人士Meta首发「变色龙」挑战GPT-4o,34B参数引领多模态革命!10万亿token训练刷新SOTA全网首发!被加国留学生问爆的2024多伦多求职群,正式上线!日本东京地方法院驳回AI“发明”专利申请:发明人仅限于人类;Meta首发「变色龙」挑战GPT-4o,引领多模态革命丨AIGC日报ICML 2024 | 清华提出DecisionNCE,用多模态表征预训练加速具身智能开源大模型王座再易主,1320亿参数DBRX上线,基础、微调模型都有Apple多模态最新工作4M-21:搞定21种模态!刷新多个SOTA!ICLR 2024 | 量化和增强模态偏好影响下的多模态鲁棒性如何保护好你的退休资产?只要千元级,人人可用百亿级多模态大模型!国产「AI模盒」秒级训练推理​第一个基于Llama 3的多模态大模型!Bunny-Llama-3-8B-V上线!视觉prompt工程!无需微调、无需任何模型修改,让一个通用模型可以执行多种指定任务CVPR 2024 | 多模态合作学习的新视角:样本级模态的评估与协同《在五星红旗下成长》续02先睹为快!东京迪士尼新园区全方位曝光,挑战全网首发攻略!全网首发!被问爆的加国大一大二留学生求职群,正式上线投资被骗案。 音樂:Roman Guitar北京内推 |​ 商汤研究院基础多模态大模型组招聘多模态方向算法实习生RAG还是微调?万字长文总结大模型微调技能图谱美向其提供、部署武器,中国支持俄就应理直气壮全网首发!被问爆的加拿大低年级留学生求职群,正式上线
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。