一大堆Chinese Llama3正在袭来

2024-04-29 02:04

MLNLP社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。

转载自 | NLP工作站

作者 | 刘聪NLP

写在前面

大家好，我是刘聪NLP。

Llama3模型已经开源，可以就在这短短的两天之内，就出现了很多Chinese-Llama3 repo，开源社区也是相当的卷。

再看到Llama3相关报告的时候，就预料到会有很多Chinese-Llama3，因为Llama3对中文十分不友好，15T Tokens的训练数据，仅有5%（750B Tokens）是其他语言，那么中文就更少了。

很多网友们测试，也发现Llama3能力很强，可以理解中文问题的意思，但输出内容就会是英文，在提示词中强调用中文的情况下，会使用中文回答，但不稳定，有时会出现中英文结合的情况。

可想而知，开源社区会对Llama3进行中文增强（毕竟llama3基座很强），当然还是那几步：扩充中文词表、中文数据continue-pretrain、中文sft。

当然就像Llama2出来的时候一样，会带来很多机遇，借助Llama3的名头，还是可以肝出不少内容的。

下面先简单对Llama3进行介绍，再给大家分享一些已经开源的Chinese-Llama3项目。

Llama3模型目前共开源了8B和70B两个参数规模的模型，400B参数规模的模型还在训练中。MetaAI也表示接下来的几个月里，将发布多个具有新功能的模型，包括多模态、多语言对话能力、更长的上下文窗口以及更强的综合能力的模型。

Blog: https://ai.meta.com/blog/meta-llama-3
HF: https://huggingface.co/meta-llama/Meta-Llama-3-70B

结构与Llama2基本一致，词表大小扩充到128K，8B和70B大小的模型中都采用了分组查询注意力（GQA），最大长度8K。
15T Tokens进行模型预训练，整体是Llama2的7倍，代码数据是Llama2的4倍，其中5%的数据由其他30种语言组成。
训练优化（数据并行、模型并行和流水线并行）实现同时在16K个GPU上训练，每个GPU的计算利用率超过400 TFLOPS。最终在24K个GPU上训练，相比于Llama2训练效率提高了约三倍。

暂时投票还有点少，但匿名PK榜单效果已经很逆天了，暂时成为开源之最。

下面放几个已经开源权重的Chinese-Llama3，这才两天，后面会越来越多，现在还有一些repo在占坑。

Github: https://github.com/CrazyBoyM/llama3-Chinese-chat

大佬们真实太肝了，目前涉及的版本是base和instruct模型利用中文数据直接SFT。

数据集主要涉及firefly-train-1.1M、shareAI/CodeChat、shareAI/ShareGPT-Chinese-English-90k、ruozhiba、COIG-CQIA和自己造的数据。

Github: https://github.com/UnicomAI/Unichat-llama3-Chinese

中国联通AI创新中心开源，目前版本应该也是直接SFT版本，暂不清楚是基于base模型还是instruct模型。说后续会更新64K版本、增量预训练版本。

数据量未知，但表明是高质量指令数据（覆盖多个领域和行业），微调指令数据经过严格的人工筛查（如果真人工，是个大工程）。

HF: https://huggingface.co/BoyangZ/llama3-chinese

仅通过silk-road/Wizard-LM-Chinese-instruct-evol数据训练2个epoch进行中文测试。其中，maxlenght=2k、bs=8、steps=500。

开源社区真的太卷了，上面两个项目都号称首个Chinese-Llama3，但暂时开源的还是Chinese-Llama3-8B为主，也可以理解，毕竟8B训练的更快。

期待后面更多的Chinese-Llama3出来，相信不久ymcui、lily、firefly、 IDEA等都会开中文Llama3吧。

技术交流群邀请函

△长按添加小助手

扫描二维码添加小助手微信

请备注：姓名-学校/公司-研究方向（如：小张-哈工大-对话系统）即可申请加入自然语言处理/Pytorch等技术交流群

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名的机器学习与自然语言处理社区，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。

社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq