中文对话大模型BELLE全面开源！（附：数据+模型+轻量化）

来自：高能AI

进NLP群—>加入NLP交流群(备注nips/emnlp/nlpcc进入对应投稿群)

中文对话大模型开源社区迎来了一名浓眉大眼的新成员！最新项目BELLE（BE Large Language model Engine）基于BLOOM和LLAMA针对中文做了优化，模型调优仅使用由ChatGPT生成的数据，为中文指令提供更好的支持。

开源地址：https://github.com/LianjiaTech/BELLE

该项目目前已经开源了如下内容，并且在持续更新中：

1. 150万中文指令微调数据集
2. 以Bloomz-7b1-mt（70亿参数）为基础，分别在20万，60万，100万，200万数据上进行指令微调后得到的模型Checkpoint。
3. 以LLAMA-7b（70亿参数）为基础，分别在60万，200万数据上进行指令微调后得到的模型Checkpoint。
4. 对以上模型进行量化后的轻量化模型，便于部署、推理。

BELLE模型能力展示

BELLE技术方案介绍

ChatGPT、GPT-4的横空出世，让人们看到了一丝AGI（通用人工智能）的曙光。在可预见的将来，ChatGPT将对各行各业带来革命性的影响。但是这样的技术不应该只被掌握在一家公司手中，因此BELLE项目应运而生了，他们的初衷是为了促进中文对话大模型开源社区的发展。为此，他们在三个方面做了初步的尝试，并已经开源了他们的研究成果。

1. 数据：为了获得大量的指令微调数据，项目团队参考了斯坦福大学的Alpaca项目，并针对中文场景进行了优化，利用ChatGPT生了多样化、高质量的数据，这些数据涵盖了各种应用场景，包括日常对话、知识问答、文本生成等，有助于模型在各种中文场景中的表现。他们已经开源其中的150万数据。
2. 模型：大模型的训练往往具有较高的成本，而一个具备初步的能力的对话模型，将大大降低使用和科研的门槛。为此，他们基于Bloom和LLAMA，训练了出具效果的对话模型，并完全开放了这些模型的参数。
3. 轻量化：为了便于模型的部署和试用，BELLE团队同时开源了对话模型的量化版本。包括8bit, 4bit, 其中4bit版本模型checkpoint大小仅为6.9G，运行仅需8.4G显存。

模型效果比较

以Bloomz-7b1-mt为基础，BELLE团队评估了不同数量的instruction tuning数据，对模型效果的影响。总的来说，提升数据量能持续带来效果的提升，但是在不同类型的任务上表现有所不同。在Extract, Classification, Closed QA, 和Summarization任务上，增加数据能持续带来效果的提升，还未达到瓶颈。在Translation, Rewrite, 和Brainstorming任务上，几十万的数据量就能获得较好的效果。在Math, Code, 和COT任务上，模型效果较差，而且增加数据量已经无法带来效果的提升。

详见论文：Exploring the Impact of Instruction Data Scaling on Large Language Models: An Empirical Study on Real-World Use Cases。

总结

可以说BELLE的出现，大大促进了中文开源对话模型的发展，基于他们开源的数据和模型，更多的人可以尝试这些模型，更多的研究工作可以更快捷的展开。令人更加惊喜的是，该开源项目仍在持续更新，将来会有更多的内容被开放出来，欢迎大家持续的跟踪。