使用BigDL LLM在Intel® Data Center GPU上进行Llama 2模型调优

本文最初发布于英特尔官方网站，经英特尔授权由 InfoQ 中文站翻译并分享。

在飞速发展的生成式人工智能（GenAI）领域，大型语言模型（LLM）调优因其高计算、高内存需求而带来了独特的挑战。LoRA 和 QLoRA 等技术为最先进 LLM 模型的调优工作提供了更强大的选项，它们的速度更快，成本更低。我们已经将 QLoRA 集成到了 BigDL LLM 库中。这个库是专门为英特尔的 GPU 而设计的。

在本文中，我们将介绍两个在 Intel® Data Center GPU 上使用 QLoRA 对 Llama 2 模型进行调优的主题：

• 性能改进结果数据

• 调优说明

  使用 BigDL LLM 进行 LLM 调优

我们在 Stanford Alpaca 数据集上使用 QLoRA 对 Llama 2 7B 和 70B 模型进行了调优，并使用多个 Intel® Data Center GPU Max 1550 和 1100 系统（包括 英特尔开发云 上的系统）运行了 3 个 epoch。

下图对比了 Llama 2 7B 和 70B 模型的调优时长，使用的配置是配有 1、4 和 8 张 GPU 的 Intel® Data Center GPU Max 1550 和 1100 系统。

图 1、在 Intel ^® Data Center GPU 上进行 Llama 2 7B 模型性能调优

在单 GPU 卡的单服务器配置中，Llama 2 7B 调优所需的时间：在 Intel® Data Center GPU Max 1100 上为 5.35 小时，在 Intel® Data Center GPU Max 1550 上为 2.4 小时。当配置扩展到 8 个 GPU 时，Llama 2 7B 调优所需的时间：在 Intel®Data Center GPU Max 1100 上显着减少到约 0.8 小时（48 分钟），在 Intel®Data Center GPU Max 1550 上减少到约 0.35 小时（21 分钟）。

扩展后的 BigDL LLM 库支持在各种英特尔 GPU 上对 LLM 进行调优，包括 Intel® Data Center GPU Flex 170 和 Intel® Arc™系列显卡。具体来说，以 Intel®Data Center GPU Flex 170 硬件为例，在一台配备 8 张 Intel®Data Center GPU Flex 170 显卡的服务器上，在大约 2 小时之内就可以完成 Llama 2 7B 模型的调优。

图 2、在 Intel ^® Data Center GPU 上进行 Llama 2 70B 模型性能调优

有关配置请查阅原文的配置与免责声明

对更大的 LLM 进行调优，如 Llama 2 70B，需要更高的计算能力、VRAM 和时间。根据我们的评估，在一台服务器上配置 4 张和 8 张 Intel® Data Center GPU Max 系列显卡可以显著提升效率。具体而言，配备 8 张 Intel® Data Center GPU Max 系列 GPU 的单台服务器显著加快了这一过程，在大约 200 分钟（3.14 小时）的时间内完成了 Llama 2 70B 模型的调优。在我们测试的配置中，这一配置是最高效的。

我们使用了来自 Hugging Face 的数据集yahma/alpaca-cleaned，其中包含 51.8k 行英语教学文本。要全面理解和应用这个数据集，请访问 Hugging Face Dataset 数据集页面。

在这一节中，我们将介绍在 Intel® Data Center GPU 上使用 BigDL LLM 进行 Llama 2 模型调优的步骤。

1. 在英特尔开发云上获取 Intel Data Center GPU 资源

英特尔开发云（IDC） 上提供了Intel ^® Data Center GPU 实例。你可以创建一个免费帐户，并探索英特尔提供的各种计算平台。请按照 IDC 网站的说明开始吧。

2. 准备用于 LLM 调优的 BigDL LLM 环境

要准备在 Intel GPU 上进行 LLM 调优的 BigDL LLM 环境，通常需要从配备了 Intel GPU 驱动程序和 oneAPI 基本工具包的 Linux 系统开始。我们建议使用 Conda 进行环境管理。使用英特尔开发云时，设置过程大大简化，其中 Conda 环境预先配置了必要的组件，包括 pytorch-gpu 环境。英特尔开发云简化了设置过程，不需要用户手动获取环境，使他们可以专注于 LLM 调优任务，提升效率。

首先，选择 pytorch-gpu 内核并安装 bigdl-llm[xpu] 包，如下所示：

conda create -n llm python=3.9conda activate llmpip install --pre --upgrade bigdl-llm[xpu] -f https://developer.intel.com/ipex-whl-stable-xpu

source /opt/intel/oneapi/setvars.sh

为了在 Intel Data Center GPU 上获得最佳性能，你还应该安装 gperftools 并设置一些重要的配置环境变量：

conda install -y gperftools -c conda-forgeexport LD_PRELOAD=${LD_PRELOAD}:${CONDA_PREFIX}/lib/libtcmalloc.soexport USE_XETLA=OFFexport SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1export ENABLE_SDP_FUSION=1

3. 在单 GPU 上进行 Llama 2 7B 模型调优

这段伪代码大致勾勒出了一个在 Intel® Data Center GPU Max 1550 GPU 上进行高效调优的结构化方法。示例代码后面有更详细的说明。我们将下面的代码命名为 fine-tuning.py，我们将用它进行 Llama 2 7B 和 70B 模型的调优。

import torchimport transformersfrom datasets import load_datasetimport acceleratefrom transformers import LlamaTokenizerfrom peft import LoraConfigimport intel_extension_for_pytorch as ipexfrom bigdl.llm.transformers import AutoModelForCausalLMfrom bigdl.llm.transformers.qlora import get_peft_model, prepare_model_for_kbit_training
def train(\...):
 #步骤1：从目录或HF Hub将基本模型加载为4位NormalFloat格式 model = AutoModelForCausalLM.from_pretrained(   'meta-llama/lama-2-7b-hf',   load_in_low_bit="nf4", # According to the QLoRA paper, using "nf4" could yield better model quality than "int4"   optimize_model=False,   torch_dtype=torch.bfloat16,   modules_to_not_convert=["lm_head"], ) model = model.to('xpu') tokenizer = LlamaTokenizer.from_pretrained(base_model)
 # 步骤2：准备一个兼容BigDL-LLM的Peft模型 model = prepare_model_for_kbit_training(   model,   use_gradient_checkpointing=gradient_checkpointing ) config = LoraConfig(   r=lora_r,   lora_alpha=lora_alpha,   target_modules=lora_target_modules,   lora_dropout=lora_dropout,   bias="none",   task_type="CAUSAL_LM", ) model = get_peft_model(model, config)
 # 加载数据集，并划分为train_data和val_data data = load_dataset(data_path) train, val_data = ...
 # 步骤3：数据处理并传递给data_collator trainer = transformers.Trainer(   model=model,   train_dataset=train_data,   eval_dataset=val_data,   args=transformers.TrainingArguments(     # keypart3: define plenty of training args as you need     bf16=True,     per_device_train_batch_size=micro_batch_size,     gradient_accumulation_steps=gradient_accumulation_steps,     num_train_epochs=num_epochs,     learning_rate=learning_rate,     gradient_checkpointing=gradient_checkpointing,     ...   ),   data_collator=... )
 model.config.use_cache = False trainer.train(resume_from_checkpoint=resume_from_checkpoint) model.save_pretrained(output_dir)

def get_int_from_env(env_keys, default): """Returns the first positive env value found in the `env_keys` list or the default.""" for e in env_keys:     val = int(os.environ.get(e, -1))     if val >= 0:         return val return default
local_rank = get_int_from_env(["LOCAL_RANK","MPI_LOCALRANKID"], "0")world_size = get_int_from_env(["WORLD_SIZE","PMI_SIZE"], "1")port = get_int_from_env(["MASTER_PORT"], 29500)os.environ["LOCAL_RANK"] = str(local_rank)os.environ["WORLD_SIZE"] = str(world_size)os.environ["RANK"] = str(local_rank)

export MASTER_ADDR=127.0.0.1export OMP_NUM_THREADS=6 # adjust this to 1/16 of total physical coresexport FI_PROVIDER=tcpexport CCL_ATL_TRANSPORT=ofimpirun -n 16 \  python -u ./fine-tuning.py \    --base_model “meta-llama/Llama-2-70b-hf” \

为了帮助新手开始使用 BigDL LLM 和 QLoRA 技术对大型语言模型进行调优，我们开发了一个全面的 Jupyter 笔记本，可以引导你一步一步地完成这个过程。首先，在英特尔开发云上注册一个免费的标准帐户。然后，转到控制台主页，单击左侧的 Training and Workshops 图标，向下滚动到“Gen AI Essentials”部分，并进入 LLM Fine-tuning with QLoRA 笔记本。该笔记本将引导你逐步完成调优过程，并帮助你将这些技术应用于各种 LLM 上。

生成式人工智能模型需要大量的计算和内存。我们在 Intel ^® Data Center GPU 上使用 BigDL LLM 进行大型语言模型调优的探索，揭示了克服这一固有挑战的有效策略。通过性能数据分析和分步指南，我们已经证明了 QLoRA 可以有效地减少对最先进的 LLM（如 Llama 2 7B 和 Llama 2 70B）进行调优的时间。希望我们的研究结果能够提供有价值的见解，并为该领域的研究人员和从业者提供实用的资源。我们会继续在这个充满活力、快速发展的领域中，推进生成式人工智能、共享知识以及促进协作创新。

原文链接：

https://www.intel.com/content/www/us/en/developer/articles/technical/finetuning-llms-on-intel-gpus-using-bigdl-llm.html

声明：本文为 InfoQ 翻译整理，未经许可禁止转载。