与全参数微调相比，LoRA微调的性能到底如何？

大模型技术的发展和迭代2024年已经可以按天来计算了，几乎每天都有新的大模型和技术登场，从基座模型Mamba2，Jamaba，到Dora，LoftQ，GaLore等最新的微调技术；KTO，IPO，SimPO等微调技术；再到GPTQ，SmoothQuant，AWQ，GGUF等量化技术。大模型全链路的技术的迭代日新月异。

您是否有感觉自己的技术能力以及学习步伐有点跟不上技术的发展？或者对这些新兴技术的理解仅仅停留在应用层面上，实际上并没有对背后的算法原理深入剖析过？ 如果您希望快速适应大模型时代的发展，而不致于在海量的论文和技术文献中挣扎和迷茫；如果你希望在大模型赛道上持续巩固竞争壁垒，而不至于因为技术到达瓶颈而导致项目停滞不前。对技术本身的深入理解、对前沿技术的深入洞察一定是个必选项！ 

基于此类痛点，并紧密贴合llm前沿技术发展，贪心科技联合数位业内顶级专家共同打造了《大模型高级研修班》。通过2个半月的时间，全面掌握近半年最火热前沿的大模型知识技术以及背后的精髓，帮大家大大节省学习成本、提高技术竞争力。

• 掌握前沿的大模型技术，包括新基座模型、新微调算法、新推理方法、新多模态技术、新图算法和大模型的结合等
• 掌握每一种前沿算法背后的理论知识、以及应用场景，部分算法的讲解涉及到代码解读、从零算法实现、实战案例等

• 全面掌握2024上半年，新出的前沿大模型技术

模块一：基座模型

1、Transformer架构与机制

• 多头自注意力机制：Query, Key, Value机制

• Multi-query attention

• 位置编码技术

• 层归一化与残差连接

• 案例：剖析LLama3模型结构

2、大模型训练与优化

• 预训练、微调与对齐过程

• SFT与LoRA微调

• 对齐与DPO

• 处理长距离依赖

• 处理更长的上下文

• 梯度下降变体

3、Mamba介绍

• Transformer与Seq2Seq各自有缺点

• Differential Equation基础

• 选择性状态空间模型（SSMs）

• Discretization, Recurrent计算

• The HIPPO矩阵

• 基于Pytorch实现一个基本的Mamba块

4、Mamba核心组建与优化

• 局部卷积宽度及其重要性

• Selective Scan

• 整体模型架构

• Mamba的优化策略

• 与Transformer优化的比较分析

5、Mamba2

• Mamba与Mamba2的区别

• Mamba2中的高级SSMs

• 结构状态空间对偶性

• SSMs和Transformers之间的等价性

• 块分解技术

• 面向硬件的实现

• 高效投影和归一化

• 实践：在Mamba2中实现高维SSMs

6、Mamba的应用

• 文本生成与文本摘要生成

• 机器翻译与情感分析

• 基于Mamba构造大模型

• 基于Mamba构造多模态大模型

• 医疗、金融领域的应用

7、Jamba模型

• 混合架构设计基础

• SSMs与Transformer注意机制的集成

• 结合Mamba和Transformer方法的优点

• Jamba模型剖析

• 多模态注意力和状态空间集成

• 跨模态嵌入对齐

8、KANs

• KANs vs MLPs

• Kolmogorov-Arnold representation theorem

• 基础架构

• Convolutional KANs (CKANs)

• 训练KANs

• 实践：从零实现KANs

模块二：指令微调技术

9、LoRA微调技术

• 必要的数学知识 - 低秩分解

• LoRA的核心原理

• LoRA中的各类参数设置

• 优化并获得LoRA参数

• LoRA源码解读

• 基于开源模型实现LoRA微调

10、DoRA微调技术

• 从LoRA到DoRA

• DoRA解决的核心问题

• 权重分解的低秩适应

• DoRA的梯度分析

• DoRA的源码分析

• 基于开源模型实现DoRA微调

11、LoftQ微调技术

• 量化技术基础

• 不同的量化技术

• 传统方法与基于LoRA的量化

• LoftQ算法的详细介绍

• 背后的理论分析

12、GaLore微调技术

• Weight Gradient的low rank特性

• GaLore模型详解

• 低秩子空间的组成

• 内存高效优化

• 超参数的调整

• 背后的一些理论分析

13、Mixture of LoRAs

• Routing策略设计

• MoA架构设计

• 模型的详解

• 模型源码分析

• 基于开源模型实现模型微调

模块三：对齐技术

14、DPO对齐技术

• 偏好优化基础

• Bradley-Terry model

• 推导DPO的目标

• 详解DPO的训练

• DPO背后的理论分析

• 基于开源模型实现DPO对齐

15、KTO对齐技术

• HALOs介绍

• KTO的推导过程

• KL的估计

• 理解超参数

• KTO与DPO 

16、IPO对齐技术

• 序列似然校准

• 算法详解

• online IPO

• 背后的理论分析

• 基于开源模型实现IPO对齐

17、SimPO对齐技术

• DPO与SimPO主要区别

• 推导SimPO的目标

• SimPO的参数设置

• SimPO源码分析

• 对齐技术的未来发展

模块四：模型量化技术

18、GPTQ量化技术

• 量化技术基础

• OBQ介绍

• GPTQ算法详解

• 背后理论分析

• 基于LLama大模型进行GPTQ量化

19、SmoothQuant量化技术

• 数据分布对量化的影响

• SmoothQuant核心思想

• SmoothQuant算法详解

• 算法源码分析

• 基于LLama大模型进行SmoothQuant量化

20、AWQ量化技术

• AWQ核心思想

• 分析量化导致的误差

• 选取最有价值的1%权重

• AWQ算法详解

• 基于LLama大模型进行AWQ量化

21、GGUF量化技术

• 从GPU到CPU使用

• GGUF核心思想

• GGUF算法详解

• 基于LLama大模型+GGUF

模块五：多模态技术

22、MoE-LLaVA

• 视觉大模型基础

• 训练多模态大模型的Scaling挑战

• Hard Routers和Soft Routers

• MoE总体结构

• MoE三阶段训练

• 模型源码解读

• 微调一个MoE-LLaVA模型

23、Mini-Gemini

• 模型背后核心思想

• Dual Vision Encoders

• Patch Info Mining

• 模型详解

• 模型源码解读

24、VideoLLaMA2

• 模型背后核心思想

• 模型总体结构

• 模型算法解析

• 多任务微调

• 微调一个VideoLLaMA2模型

模块六：图与大模型

25、图与大模型基础

• 图、知识图谱基础

• 图和大模型结合三种常见方法

• 利用图来增强大模型推理

• 利用大模型来增强图模型

• 两者的直接结合

• 大模型对图的推理

26、推荐系统与大模型

• 推荐系统设计

• 推荐系统中使用大模型

• Prompt的设计

• 微调推荐大模型思路

• 微调一个推荐领域大模型

27、GraphGPT: Graph的指令微调

• Graph的推理能力分析

• 图结构的编码

• Self- supervised微调

• 基于任务的微调

• CoT蒸馏

• GraphGPT的应用场景

28、知识图谱与LLM的结合

• 知识图谱背景介绍

• 知识图谱与LLM结合的几种方式

• 训练能够理解知识图谱的LLM基座模型

• 知识图谱与LLM对推荐系统的价值

模块七：具身智能

29、具身AI简介

• 历史背景和关键里程碑

• 应用和未来趋势

• 具身智能和大模型的结合

• 具AI的理论

• 具身AI的认知架构

30、大型语言模型、感知器

• LLM在具身AI中的角色

• 将LLM与具身系统集成的技术

• 具身AI中的自然语言理解和生成

• 机器人学简介和机器人类型

• 传感器技术和数据采集

• 执行器和控制系统

• 案例：使用LLM的机器人系统

31、具身AI系统设计

• 具身AI的设计原则

• 人机交互（HRI）

• 多模态界面

• 具身AI中的强化学习

• 实时决策

32、评估与测试

• 评估具身AI系统的指标

• 性能测试和基准测试

• 用户研究和反馈收集

• 迭代设计和改进

大模型专家

• 某头部互联网公司AIGC相关技术负责人

• UC Cruze博士后，香港大学博士

• 主要从事大模型训练，AIGC，机器学习，图卷积，图嵌入的研究

• 先后在ACL, EMNLP, ECCV, Trans on Cybernetics, Trans on NSE等国际顶会及期刊发表高水平论文十余篇

• 中科院博士
• 头部金融科技公司资深算法专家
• 曾任埃森哲人工智能实验室数据科学家
• 拥有丰富的大模型微调/情感分析/博文品牌识别/问答系统等各类项目经验

• 互联网大厂资深算法工程师，清华大学博士后

• 拥有丰富的大模型预训练、微调和部署优化经验

• 曾负责大规模对话系统的开发和落地上线工作

• 先后在AAAI，NeurIPS，ACL，EMNLP等国际顶会及期刊发表高水平论文十余篇