ChatYuan又开源了！效果大幅升级，在手机上也可以跑

2023-03-29 02:03

MLNLP社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。

转载自 | 元语智能

近日，元语智能团队又开源了一个ChatYuan系列大模型：ChatYuan-large-v2，支持在单张消费级显卡、PC甚至手机上进行推理使用。新版本支持中英双语、支持输入输出总长度最长4k，这是继此前PromptCLUE-base、PromptCLUE- v1-5、ChatYuan-large-v1 模型之后，元语智能再次推出大模型方向的研究成果。

元语团队承诺，将持续开源更好更大的通用大模型。

开源地址

开源项目地址：

https://github.com/clue-ai/ChatYuan

Huggingface：

https://huggingface.co/ClueAI/ChatYuan-large-v2

Modelscope：

https://modelscope.cn/models/ClueAI/ChatYuan-large-v2/summary

什么是ChatYuan-large-v2？

ChatYuan-large-v2是一个支持中英双语的功能型对话语言大模型，ChatYuan-large-v2使用了和 v1版本相同的技术方案，在指令微调、人类反馈强化学习、思维链等方面进行了优化。ChatYuan-large-v2是ChatYuan系列中以轻量化实现高质量效果的代表模型，仅仅通过0.7B参数量可以实现业界10B模型的基础效果，并且大大降低了推理成本，提高了使用效率。用户可以在消费级显卡、 PC甚至手机上进行推理（INT4 最低只需 400M ）。

同时为了更好的提升使用体验，我们已经封装了工具，Chatyuan-large-v2实现了本地可运行，下载后可以直接在本地使用h5版本，进行网页交互。

v2有什么升级？

在chatyuan-large-v1的原有功能的基础上，v2模型进行了如下优化：

增强了基础能力：原有上下文问答、创意性写作能力明显提升。

新增了拒答能力：对于一些危险、有害的问题，学会了拒答处理。

新增了代码生成功能：对于基础代码生成进行了一定程度优化。

新增了表格生成功能：优化了生成的表格内容和格式。

增强了数学运算能力：对基础数学运算如加减法做了优化。

扩展输入输出总长度：最大长度token数扩展到4096。

增强了模拟情景能力：可以模拟多人对话或者具体场景，在情景下进行内容创作及上下文交互。

新增了中英双语对话能力：新增了中英双语交互、英文创作、翻译等功能。

案例：

拒答能力

计算推理

模拟情景

表格生成

代码生成

v2的局限性

由于Chatyuan-large-v1是一个轻量化的大模型，所以仍会存在一些局限和不足，请开发者知悉，包括：

对于推理、计算、代码生成方面基础功能基本实现，仍存在训练不充分的问题，在某些场景下会出现逻辑错误情况，如代码基本能够实现且具备注释能力，但不能保证精简通顺和准确，可视性还需优化。
通用知识回答不够精确，事实性知识仍存在不准确的情况。
上下文关联信息处理尚有不足。

结语

总体而言，v2在上下文理解、内容生成、代码表格生成等方面，较v1开源模型有较大提升，仅仅通过0.7B参数规模即可实现行业内百亿参数规模的基础效果，大幅降低推理成本，提升了使用效率。

元语智能团队会坚定的坚持开源路线，后续将持续开源更好更大的通用大模型，持续构建开源开发者生态，推动国内大模型开源发展，希望各位朋友批评指正。

产品内测邀请

除了本次开源ChatYuan-large-v2模型之外，元语团队正式开启KnowX产品内测，KnowX搭载了ChatYuan线上最新版本的大模型能力，在上下文理解、内容生成、代码生成、逻辑推理计算等方面表现优异，为实现版本的可靠、稳定及进一步优化，现已开启产品内测，名额有限，感兴趣的朋友可在下方链接中申请。

内测申请通道：

https://wj.qq.com/s2/11984341/e00b/

关于我们

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名的机器学习与自然语言处理社区，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。

社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章