百川智能发布 70 亿参数量开源中英文大模型

王小川的大模型，首次公开亮相。

2023 年 6 月 15 日，被称为「中国 ChatGPT 梦之队」的百川智能公司，推出了 70 亿参数量的中英文预训练大模型——baichuan-7B。

baichuan-7B 不仅在 C-Eval、AGIEval 和 Gaokao 中文权威评测榜单上，以显著优势全面超过了 ChatGLM-6B 等其他大模型，并且在 MMLU 英文权威评测榜单上，大幅领先 LLaMA-7B。

目前 baichuan-7B 大模型已在 Hugging Face、Github 以及 Model Scope 平台发布。

为了验证模型的各项能力，baichuan-7B 在 C-Eval、AGIEval 和 Gaokao 三个最具影响力的中文评估基准进行了综合评估，并且均获得了优异成绩。

在中文 C-EVAL 的评测中，baichuan-7B 的综合评分达到了 42.8 分，超过了 ChatGLM-6B 的 38.9 分，甚至比某些参数规模更大的模型还要出色。

C-EVAL 评测截图，时间为 2023-06-15

C-Eval 评测基准由上海交通大学、清华大学以及爱丁堡大学联合创建，是面向中文语言模型的综合考试评测集，覆盖了 52 个来自不同行业领域的学科。

在 AGIEval 的评测里，baichuan-7B 综合评分达到 34.4 分，远超 LLaMa-7B、Falcon-7B、Bloom-7B 以及 ChatGLM-6B 等其他开源模型。

AGIEval 评测基准由微软研究院发起，旨在全面评估基础模型在人类认知和问题解决相关任务上的能力，包含了中国的高考、司法考试，以及美国的 SAT、LSAT、GRE 和 GMAT 等 20 个公开且严谨的官方入学和职业资格考试。

在 GAOKAO 评测中，baichuan-7B 的综合评分达到了 36.2 分，显著领先于同参数规模的各种其他预训练模型。

GAOKAO 评测基准是复旦大学研究团队创建的评测框架，以中国高考题目作为数据集，用于测试大模型在中文语言理解和逻辑推理能力方面的表现。

baichuan-7B 不仅在中文方面表现优异，在英文上表现同样亮眼。在 MMLU 的评测中 baichuan-7B 综合评分高达 42.5 分，大幅领先英文开源预训练模型 LLaMA-7B 的 34.2 分以及中文开源模型 ChatGLM-6B 的 36.9 分。

MMLU 由加州大学伯克利分校等知名高校共同打造，集合了科学、工程、数学、人文、社会科学等领域的 57 个科目，主要目标是对模型的英文跨学科专业能力进行深入测试。其内容广泛，从初级水平一直涵盖到高级专业水平。

训练语料对大模型的训练结果至关重要。在构建预训练语料库方面，百川智能以高质量中文语料为基础，同时融合了优质的英文数据。在数据质量方面，通过质量模型对数据进行打分，对原始数据集进行篇章级和句子级的精确筛选；在内容多样性方面，利用自研超大规模局部敏感哈希聚类系统和语义聚类系统，对数据进行了多层次多粒度的聚类，最终构建了包含 1.2 万亿 token 的兼顾质量和多样性的预训练数据。相较于其他同参数规模的开源中文预训练模型，数据量提高了超过 50%。

在万亿优质中英文数据的基础上，为了更好地提升训练效率，baichuan-7B 深度整合了模型算子来加快计算流程，并针对任务负载和集群配置，自适应优化了模型并行策略以及重计算策略。通过高效的训练过程调度通信，baichuan-7B 成功地实现了计算与通信的高效重叠，进而达到了超线性的训练加速，在千卡集群上训练吞吐达到 180+Tflops 的业界领先水平。

同时，已有的开源模型窗口长度在 2K 以内，对于一些长文本建模任务，如需要引入外部知识做搜索增强的场景，更长的处理长度有助于模型在训练与推理阶段捕获越多的上下文信息，2K 的处理长度存在比较大的制约。baichuan-7B 基于高效的 attention 算子优化实现了万级别超长动态窗口的扩张能力，本次开源的预训练模型开放了 4K 上下文窗口，使模型应用场景更加广泛。

此外，baichuan-7B 还对模型训练流程进行了深度优化，采用了更科学且稳定的训练流程和超参数选择，使得 baichuan-7B 模型的收敛速度大大提升。与同等参数规模的模型相比，baichuan-7B 在困惑度（PPL）和训练损失（training loss）等关键性能指标上表现更加优秀。

秉持开源精神，baichuan-7B 代码采用 Apache-2.0 协议，模型权重采用了免费商用协议，只需进行简单登记即可免费商用。

baichuan-7B 此次开源的内容十分丰富，包含了推理代码、INT4 量化实现、微调代码，以及预训练模型的权重。其中，微调代码方便用户对模型进行调整和优化；推理代码与 INT4 量化实现则有助于开发者低成本地进行模型的部署和应用；预训练模型权重开源后，用户则可以直接使用预训练模型进行各种实验研究。

据了解，北京大学和清华大学两所顶尖大学已率先使用 baichuan-7B 模型推进相关研究工作，并计划在未来与百川智能深入合作，共同推动 baichuan-7B 模型的应用和发展。

清华大学互联网司法研究院院长、计算机系教授刘奕群认为，baichuan-7B 模型在中文上的效果表现十分出色，它免费商用的开源方式展现出开放的态度，不仅贡献社区，也推动技术发展。团队计划基于 baichuan-7B 模型开展司法人工智能领域的相关研究。

北京大学人工智能研究院助理教授杨耀东认为，baichuan-7B 模型的开源将对于中文基础语言模型的生态建设及学术研究产生重要推动作用，同时他也表示将持续关注相关领域探索，并且在中文大语言模型的安全和对齐上进行进一步深入研究。

百川智能 CEO 王小川表示：「本次开源模型的发布是百川智能成立 2 个月后的第一个里程碑，对百川智能而言是一个良好的开局。baichuan-7B 模型，不仅能为中国的 AGI 事业添砖加瓦，也为世界大模型开源社区贡献了新的力量。」

开源地址：

极客一问