Redian新闻
>
【讲座】Llama 3技术剖析、微调、部署以及多模态训练

【讲座】Llama 3技术剖析、微调、部署以及多模态训练

公众号新闻
Meta公司推出了开源大语言模型Llama系列的最新产品—Llama 3,包含了80亿参数的Llama 3 8B和700亿参数的Llama 3 70B两个版本。Meta称其为“迄今为止最强的开源大模型”。

Meta官方数据显示,Llama 3 8B模型在MMLU、GPQA、HumanEval等多项基准上均胜过同参数量级模型Gemma 7B和Mistral 7B Instruct,而70B模型则超越了闭源的当红模型Claude 3 Sonnet,并且效果上完全能与Google的Gemini Pro 1.5掰掰手腕。

那Llama 3在结构上跟之前的版本有哪些区别?它的预训练和Post训练是如何进行的?如何对Llama 3进行微调?基于Llama 3是否能构建出更优质的多模态大模型?鉴于这些问题,我们特意组织了一次对Llama 3的讲座,全面剖析它的技术层面以及应用。 

 

1. 不仅剖析原理,更有实操案例分享

本次讲座主题是《Llama 3技术剖析、微调以及多模态训练》,将剖析Llama 3的核心技术,讲解如何基于Llama 3进行模型的微调和多模态模型训练和微调。本次讲座不仅会讲解技术理论,也包括了结合Llama 3的模型微调和多模态大模型微调两个项目Case,从应用角度让大家对Llama 3的效果有直观的理解。


2. 讲座大纲

  • Llama 3结构剖析、与Llama2区别
  • Pretrain技术解释:GQA, RoPE等
  • Postrain技术解释:SFT, PPO, DPO等
  • Case:基于Llama 3-8B模型微调和部署
  • 多模态大模型结构如Mini-Gemini、LLaVA
  • Case:  结合LLama 3的多模态大模型微调


3. 分享嘉宾

李老师

人工智能、大模型领域专家

  • 多家上市公司技术战略顾问
  • 曾任金融科技独角兽公司首席科学家
  • 曾任量化投资初创公司首席科学家
  • 曾任美国亚马逊推荐系统工程师
  • 深耕AI领域十余年,授课培养AI学员数万人


4. 时间安排

北京时间:2024年4月24日,20:00-22:00


5. 适合人群

  • 想学习大模型及微调的开发工程师
  • 想深入理解相关技术的算法工程师



 🔥 即将开始
立即扫码添加老师,免费参加~


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
【讲座预告】对话顶级文理学院“附属中学”——威廉学校招生官吃鱼被刺卡住,急诊开胸手术找鱼刺,没找着…《梅》&《忘掉吧昨天》一文读懂多家厂商的大模型训练、推理、部署策略​第一个基于Llama 3的多模态大模型!Bunny-Llama-3-8B-V上线!【小升初备考讲座】再次来袭!!St Paul's Girls' /Wycombe Abbey 为你解开备考谜团!RAG还是微调?万字长文总结大模型微调技能图谱视觉prompt工程!无需微调、无需任何模型修改,让一个通用模型可以执行多种指定任务多领域文献阅读超越GPT-4!深势科技发布科学文献多模态大模型Uni-SMART技术报告【Zoom讲座】媒体多元:亚太群体之声,5月14日,星期二,晚上19:00 -20:30中科院,CMU,Meta等联合出品:去除LLM先验对多模态大模型的负面影响【229秒 -> 69秒】部署时间缩短69%,ICBU商家技术部应用部署治理实践美向其提供、部署武器,中国支持俄就应理直气壮【惠宜美本系列讲座】美高学生长线规划和大学申请攻略倾情放送!七绝—红豆二首零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR【公益讲座】从内地医学生,到美国住院医师;如何跨越这三座大山?!我的岁月(二十三)只需单卡RTX 3090,低比特量化训练就能实现LLaMA-3 8B全参微调【BHSE第194期讲座】大选年背景下的亚裔申请突围之道手机可跑,3.8B参数量超越GPT-3.5!微软发布Phi-3技术报告:秘密武器是洗干净数据多模态大模型不够灵活,谷歌DeepMind创新架构Zipper:分开训练再「压缩」高分辨单细胞多模态空间组学技术重要进展Meta首发「变色龙」挑战GPT-4o,34B参数引领多模态革命!10万亿token训练刷新SOTA37项SOTA!全模态预训练范式MiCo:理解任何模态并学习通用表示|港中文&中科院CVPR 2024 | 多模态合作学习的新视角:样本级模态的评估与协同全网首发!Llama 3技术剖析、微调、部署以及多模态训练北京内推 |​ 商汤研究院基础多模态大模型组招聘多模态方向算法实习生吴恩达团队新作:多模态多样本上下文学习,无需微调快速适应新任务【惠宜美本系列讲座】惠宜学子倾情分享名校录取背后的故事:美本申请路上的成败得失只要千元级,人人可用百亿级多模态大模型!国产「AI模盒」秒级训练推理ICLR 2024 | 量化和增强模态偏好影响下的多模态鲁棒性开源大模型王座再易主,1320亿参数DBRX上线,基础、微调模型都有小米、面壁智能、火山引擎、快手等专家,联合解读多模态最新技术与应用|AICon90、长篇家庭伦理小说《嫁接》第二十四章 郎心似铁(2)
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。