复旦 “ 首发 ” 国产版 ChatGPT！名为 MOSS 惹群嘲，回应称：还非常不成熟

身处科技圈的各位，最近应该都被 ChatGPT “刷屏”了吧。

不仅国外微软、谷歌、Meta 等科技巨头争相布局，国内百度、科大讯飞、华为、阿里巴巴、360、京东等大厂也集体“上车”：百度官宣最快 3 月份发布国产版 ChatGPT“文心一言”，科大讯飞称有信心百天内实现应用落地……

结果万万没想到，国内各大厂准备地如火如荼，但谁也没抢到这个“首发”：2 月 20 日晚，复旦大学自然语言处理实验室发布了国内首个类 ChatGPT 模型 MOSS，并邀请公众参与内测（https://moss.fastnlp.top/#/）。

与 ChatGPT “类似”，但“落后”于 ChatGPT

从 MOSS 的项目主页来看，其定位是“一个类似 ChatGPT 的对话式语言模型”，能按照用户指示执行各种自然语言任务，包括回答问题、生成文本、总结文本和生成代码等等。

与 ChatGPT 一样，MOSS 的开发过程也包含了自然语言模型的基座训练和理解人类意图的对话能力训练两个阶段，但不同之处在于：

• 基座预训练阶段，MOSS 的参数量要比 ChatGPT 少得多。据 MOSS 开发作者之一的复旦大学教授邱锡鹏透露，具体要“小一个数量级”，因此 MOSS 在任务完成度和知识储备量上，还有“很大提升空间”。
• 对话训练阶段，OpenAI 使用 RLHF（Reinforcement learning with human feedback，即基于人类反馈的强化学习） 来培训 ChatGPT，而 MOSS 则是通过与人类和其他 AI 模型进行交互，学习效率和研发效率都得到了显著提升。

• 回答问题

• 生成代码

• 甚至，还能拒绝不合适的请求。

• 由于训练数据中的多语言语料库有限，MOSS 在理解和生成英语以外的语言文本方面表现不佳。
• 由于模型容量相对较小，MOSS 并不包含足够的世界知识，因此它生成的一些回答可能包含误导性或错误信息。
• 有时 ，MOSS 会以迂回的方式执行，甚至无法遵循指令。在这种情况下，用户可能需要重新生成几次或修改提示以获得满意的回答。
• 有时，MOSS 还会生成不道德或有害的回答。

• “MOSS 还是一个非常不成熟的模型，距离 ChatGPT 还有很长的路需要走。”
• “最初的想法只是想将 MOSS 进行内测，以便我们可以进一步优化，没有想到会引起这么大的关注，我们的计算资源不足以支持如此大的访问量。”
• “我们在训练完成第一代模型的时候，正值《流浪地球2》热映，片中 MOSS 给团队每个人都留下了深刻的印象，因此便使用了这样一个名称来指代我们的模型，以表示我们对最前沿 AI 模型的不懈追求。”

• “不仅需要一个团队能撬动各个方面的资源，还要有过硬的技术做支撑。目前来看，还真的只有大公司才有能力做得出来。”
• “一个大学研究团队的人力、财力、算力，都不足以支撑一个可以供大众使用的 ChatGPT 这个级别的产品。这类产品还是要大公司来做。”

参考链接：

• https://txsun1997.github.io/blogs/moss.html

• https://moss.fastnlp.top/#/

官方站点：www.linuxprobe.com

Linux命令大全：www.linuxcool.com

刘遄老师QQ：5604241

Linux技术交流群：3762708

（新群，火热加群中……）

想要学习Linux系统的读者可以点击"阅读原文"按钮来了解书籍《Linux就该这么学》，同时也非常适合专业的运维人员阅读，成为辅助您工作的高价值工具书！