大语言模型（LLMs, Large Language Models）在各种任务上展现出了惊人的能力，这些能力很大程度上来自于模型庞大的模型规模以及海量的训练语料。为了应对这些模型部署上存在的挑战，许多研究者开始关注大语言模型的轻量化问题。由于 LLM 模型庞大的参数量，我们希望能以最小的成本完成对模型的压缩，尽可能的减少压缩后训练的开销，实现高效的模型压缩。 因为，我们提出了一种基于自动化的结构化剪枝的方案，采用结构化剪枝可以尽最大可能保留模型已习得的知识，实现高效的大语言模型压缩。在实验中，我们仅使用了 5 万条训练语料以及单张 4090 24GB 显卡，就可以在 3 小时内完成 LLaMA，Vicuna 和 ChatGLM 等大语言模型的剪枝和训练。
论文标题：
LLM-Pruner: On the Structural Pruning of Large Language Models
论文作者：
Xinyin Ma, Gongfan Fang, Xinchao Wang 单位：
论文地址：
https://arxiv.org/abs/2305.11627 https://github.com/horseee/LLM-Pruner
首先，大语言模型的压缩与之前的语言模型（例如 BERT，RoBERTa 等）的压缩等有什么差异呢。这需要从模型/数据/任务三个角度来分析， 模型规模：第一个主要差异来自 LLM 参数量规模远超之前的语言模型，这导致许多依赖重新训练的压缩方案，例如知识蒸馏，重新训练的开销较大。 海量训练语料：许多 LLMs 经历了 1 万亿甚至更大规模的 tokens 上的训练，这导致许多依赖于原始数据或收集替代数据的方案变得尤其昂贵。 任务无关的模型压缩：现有的压缩算法通常针对单一、特定的任务进行压缩，而 LLMs 是很优秀的多任务处理器，在压缩过程中我们不希望折损 LLM 的通用性和多功能性。 上述三种问题实际上对应了三个基本要求：
降低训练规模：压缩算法需要尽可能少的依赖大规模的重新训练。 保留模型原始能力：压缩模型过程中需要保留一定的原始模型能力。 由此，我们需要一种能够避免大规模重新训练、且能保持模型原有能力的压缩方法。现有的较为可行的两种方案是模型量化和结构化剪枝，他们的最主要特点都在于不需要完全从零开始训练。其中模型量化侧重于降低推理阶段的存储开销以及提升计算速度，而结构化剪枝则直接移除部分参数实现压缩，两种方案可以相互结合达到最优性能。本文主要介绍基于结构化剪枝的 LLM 压缩方法，通过保留 LLM 中的重要参数，降低压缩训练成本。 方法 本文提出一种简洁高效的结构化剪枝方法，遵循了经典的“重要性估计-剪枝-微调”的策略，能够在有限资源下完成大语言模型的压缩： 3.1 参数组重要性分析 首先我们分析了 LLM 模型中参数之间的依赖关系，从而找到最小可移除的分组。这些依赖可以归纳为三类，下图展示了 LLaMA 模型中存在的层耦合关系，主要由 MLP 内部的耦合、MHA 内部的耦合（主要为 QKVO 四个映射层）与整个网络中的通道耦合。这些耦合导致虚线显示的参数、神经元需要被同时移除，从而确保剪枝后结构的正确性。
为了自动化上述依赖分析，我们需要对神经元的依赖进行形式化建模。假设
其中 其中 3.2 组重要性估计 目前，我们已经对模型内部的耦合结构进行了建模。为了找到冗余分组，我们需要对将整个组作为一个最小单元进行重要性估计。鉴于对训练数据集的访问权限有限，我们探索使用可用的公共数据集或手动创建的样本作为替代资源。尽管这些数据集的领域可能与训练集不完全一致，但它们仍提供了评估结构组重要性的宝贵信息。
a）权重向量的一阶重要性估计 ：给定一个数据 集 ， 其中 N 是样本数量。在我们的实验中，我们设置 N 等于 10，也就是仅需 10 个样本。一个组（如前所述，被定义为一组耦合结构）包含一组互相耦合的参 数 ， 其中 M 是一个组中耦合结构的数量， 在修剪时，我们的目标是移除对模型预测影响最小的结构，因此，参数的重要性可以通过损失函数的剪枝后扰动来判断。我们对损失函数进行泰勒展开并进行移项，可以得到一种简单的重要性估计指标 其中， 重要性估计的第二项要求我们对 Hessian 矩阵 b）单个参数的二阶重要性估计： 上述过程对整个权重向量 这里，
3.3 组重要性聚合 在获得权重向量重要性 上 述聚合方式实际上包含了不同的偏置，例如求和策略认为不同参数的贡献是独立且可叠加的，乘积策略则假设不同层的重要性会相互影响，最大值策略的偏置在于层的重要性由某一层主导。最后，门控策略则认为组内的最后一层主导了整个组的重要性，因为通过将该层设为 0 我们可以使得整个组不再参与网络预测。在评估每个组的重要性之后，我们根据预定义的修剪比例对每个组的重要性进行排序，并修剪重要性较低的组。
3.4 剪枝模型的低秩近似快速恢复 为了加速模型的压缩后训练，同时提高有限数据下的训练效率，我们需要降低优化的参数量。为了实现这一目标，我们将 LoRA 与剪枝模型相结合。模型中的每个可学习的权重矩阵，表示为 其中 b 是稠密层中的偏置。仅训练 P 和 Q 减少了整体训练复杂性，从而减少了对大规模训练数据的需求。此外，额外的参数 P 和 Q 可以被重新参数化为 上述过程给出了 LLM 模型的依赖分析、重要性评估以及后训练的完整方案，通过聚合一阶和二阶泰勒展开，我们可以得到更加鲁棒的重要性评估策略。对于大模型而言，重要性评估指标是尤其重要的，因为剪枝造成的性能损失越大，后训练恢复所需要的数据量、训练时间也就越多 实验
本文对三种开源的 LLM 进行剪枝实验，包括 LLaMA-7B，Vicuna-7B 和 ChatGLM-6B，剪枝前后的模型参数量、MACs 和内存占用如表所示。
4.1 LLaMA-7B剪枝后模型的Zero-shot能力验证 对于大模型而言，保留原始的多任务处理以及零样本能力是尤其重要的，我们完整评测了不同多种方案，包括权重剪枝、随机剪枝以及本文方法的剪枝效果。我们发现在剪枝 20% 参数的情况下，大模型依旧能保持一定的 zero-shot 能力，同时经过少量微调，zero-shot 性能可以快速提升，约达到基座模型的 94%。
4.2 Vicuna-7B剪枝后模型的Zero-shot能力验证
4.3 ChatGLM-6B剪枝后模型的Zero-shot能力验证
在本文中，我们提出了 LLM-Pruner，一种用于大型语言模型的结构化剪枝方法。LLM-Pruner 旨在以任务无关的方式压缩庞大的语言模型，同时尽量减少对原始训练语料库的依赖，并保留 LLM 的语言能力。LLM-Pruner 通过迭代地检查模型中的每个神经元作为识别依赖组的触发器，从而构建 LLM 的依赖图。随后，LLM-Pruner 使用参数级和权重级估计来评估这些组的重要性。
最后，我们利用 LoRA 对被剪枝模型进行快速恢复和调整。我们使用多个 zero-shot 数据集评估了 LLM-Pruner 在三个不同模型（LLaMA，Vicuna 和 ChatGLM）上的有效性。我们的实验结果表明，LLM-Pruner 成功地剪枝了模型，在保留 zero-shot 能力的同时减轻了计算负担。 https://github.com/horseee/LLM-Pruner
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读 ，也可以是学术热点剖析 、科研心得 或竞赛经验讲解 等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品 ，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬 ，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱： [email protected]
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02 ）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」 也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」 订阅我们的专栏吧
