【讲座】Llama 3技术剖析、微调、部署以及多模态训练

2024-04-23 04:04

Meta公司推出了开源大语言模型Llama系列的最新产品—Llama 3，包含了80亿参数的Llama 3 8B和700亿参数的Llama 3 70B两个版本。Meta称其为“迄今为止最强的开源大模型”。

Meta官方数据显示，Llama 3 8B模型在MMLU、GPQA、HumanEval等多项基准上均胜过同参数量级模型Gemma 7B和Mistral 7B Instruct，而70B模型则超越了闭源的当红模型Claude 3 Sonnet，并且效果上完全能与Google的Gemini Pro 1.5掰掰手腕。

那Llama 3在结构上跟之前的版本有哪些区别？它的预训练和Post训练是如何进行的？如何对Llama 3进行微调？基于Llama 3是否能构建出更优质的多模态大模型？鉴于这些问题，我们特意组织了一次对Llama 3的讲座，全面剖析它的技术层面以及应用。

1. 不仅剖析原理，更有实操案例分享

本次讲座主题是《Llama 3技术剖析、微调以及多模态训练》，将剖析Llama 3的核心技术，讲解如何基于Llama 3进行模型的微调和多模态模型训练和微调。本次讲座不仅会讲解技术理论，也包括了结合Llama 3的模型微调和多模态大模型微调两个项目Case，从应用角度让大家对Llama 3的效果有直观的理解。

2. 讲座大纲