王小川创办的百川智能发布Baichuan-13B 参数量达130亿

雷递网 乐天 7月11日

搜狗创始人王小川创办的百川智能今日正式发布参数量130亿的通用大语言模型Baichuan-13B-Base、对话模型Baichuan-13B-Chat及其INT4/INT8两个量化版本。

百川智能认为，未来大模型生态开源闭源并存已经是不争的事实，如同iOS与安卓。目前，以GPT-4为代表的超大参数量闭源模型和100亿-200亿参数量开源模型是大模型生态链中两个最佳实践。GPT-4固然能力强大，但闭源会要求企业访问公网以及难以定制化适配，使用场景受限。而开源能够使企业轻松地借助专有数据进行微调和私有化部署，进而促进百行千业的良性发展生态。

“Baichuan-13B中英文大模型集高性能、完全开源、免费可商用等诸多特点于一身，是目前所有33B以下尺寸开源模型中效果最好的可商用大语言模型。在国外已建立起闭源及开源大模型完整生态的背景下，弥补了国内高品质开源商业模型的不足，对助力中国大模型产业发展和技术进步都具有重要意义。”

这是百川智能发布的第二款通用大语言模型，前不久的6月15日，百川智能已推出首款70亿参数量的中英文语言模型Baichuan-7B。

预训练模型“底座”因其灵活的可定制性，适合具有一定开发能力的开发者和企业，而普通用户则更关注具有对话功能的对齐模型。因此百川智能在发布预训练模型Baichuan-13B-Base的同时还发布了其对话模型Baichuan-13B-Chat，Baichuan-13B-Chat部署简单、开箱即用，可降低了开发者的体验成本。

在语言模型中，上下文窗口长度对于理解和生成与特定上下文相关的文本至关重要。Baichuan-13B上下文窗口长度为4096，不同于Baichuan-7B的RoPE编码方式，Baichuan-13B使用了ALiBi位置编码技术，能够处理长上下文窗口，甚至可以推断超出训练期间读取数据的上下文长度，从而能够更好的捕捉文本中上下文的相关性，做出更准确的预测或生成。

作为一款中英文双语大模型，Baichuan-13B采用相对平衡的中英文语料配比和多语言对齐语料。百川智能称，在同等参数量的开源模型中堪称实力担当，能更好满足商业化场景需求。

百川智能给出的材料显示，中文领域，在权威评测C-EVAL中，Baichuan-13B在自然科学、医学、艺术、数学等领域大幅领先LLaMA-13B、Vicuna-13B等同尺寸的大语言模型，在社会科学、人文科学等领域甚至超越了ChatGPT。

英文领域，在英文最权威的榜单MMLU上，Baichuan-13B超过了所有同尺寸开源模型，并且在各个维度都具有优势。

中国亟待建立自己的开源大模型生态

大模型的训练成本极高，在海量算力的成本压力下OpenAI和谷歌都选择闭源来保证自家大模型的优势地位。但是从计算机科学与人工智能的发展历程来看，开源始终对软件技术乃至IT技术发展有着巨大的推动作用。

大模型时代，Meta走上了开源的道路，LLaMA基座开源之后因其出色的性能，迅速吸引大量开发者。在其基础上开发了各种ChatGPT开源替代品，并且以极低的训练成本屡次达到匹敌GPT-3.5的性能，激发了开源模型的创新活力。

未来大模型生态闭源与开源并存已是行业共识。凭借闭源路线的GPT、Palm2及开源路线的LLaMA，美国在大模型领域已经构建起完整的生态。

尽管中文世界不乏优秀的开发者、出色的创新能力和广泛的应用场景，但由于缺少高性能和高定制性的开源基座模型，在大语言模型领域的相关研究和应用上仍存在较大的挑战。中国急需优质开源可商用大模型补齐相关领域空白，与开发者和企业共同推动中国人工智能应用的创新生态发展。

百川智能创始人王小川表示，“我们期待国内大模型行业以及垂直领域能够在此基础上开发出更多优秀产品及行业应用，让技术在真实、丰富的应用场景中快速迭代创新，我们愿与众多企业、开发者一道为国内开源社区的生态繁荣贡献自己的力量。”

———————————————

雷递由媒体人雷建平创办，若转载请写明来源。