复旦 “ 首发 ” 国产版 ChatGPT！名为 MOSS 惹群嘲，回应称：还非常不成熟

2023-03-16 00:03

CSDN（ID：CSDNnews）

身处科技圈的各位，最近应该都被 ChatGPT “刷屏”了吧。

不仅国外微软、谷歌、Meta 等科技巨头争相布局，国内百度、科大讯飞、华为、阿里巴巴、360、京东等大厂也集体“上车”：百度官宣最快 3 月份发布国产版 ChatGPT“文心一言”，科大讯飞称有信心百天内实现应用落地……

结果万万没想到，国内各大厂准备地如火如荼，但谁也没抢到这个“首发”：2 月 20 日晚，复旦大学自然语言处理实验室发布了国内首个类 ChatGPT 模型 MOSS，并邀请公众参与内测（https://moss.fastnlp.top/#/）。

与 ChatGPT “类似”，但“落后”于 ChatGPT

从 MOSS 的项目主页来看，其定位是“一个类似 ChatGPT 的对话式语言模型”，能按照用户指示执行各种自然语言任务，包括回答问题、生成文本、总结文本和生成代码等等。

与 ChatGPT 一样，MOSS 的开发过程也包含了自然语言模型的基座训练和理解人类意图的对话能力训练两个阶段，但不同之处在于：

基座预训练阶段，MOSS 的参数量要比 ChatGPT 少得多。据 MOSS 开发作者之一的复旦大学教授邱锡鹏透露，具体要“小一个数量级”，因此 MOSS 在任务完成度和知识储备量上，还有“很大提升空间”。
对话训练阶段，OpenAI 使用 RLHF（Reinforcement learning with human feedback，即基于人类反馈的强化学习）来培训 ChatGPT，而 MOSS 则是通过与人类和其他 AI 模型进行交互，学习效率和研发效率都得到了显著提升。

目前，MOSS 已拥有了一些 ChatGPT 的基本功能，复旦开发团队为此展示了几个与 MOSS 对话的示例：

回答问题

生成代码

甚至，还能拒绝不合适的请求。

不过，虽然 MOSS 的基本功能与 ChatGPT 类似，但复旦开发团队坦言它仍有许多不足：

由于训练数据中的多语言语料库有限，MOSS 在理解和生成英语以外的语言文本方面表现不佳。
由于模型容量相对较小，MOSS 并不包含足够的世界知识，因此它生成的一些回答可能包含误导性或错误信息。
有时，MOSS 会以迂回的方式执行，甚至无法遵循指令。在这种情况下，用户可能需要重新生成几次或修改提示以获得满意的回答。
有时，MOSS 还会生成不道德或有害的回答。

在这些限制当中，其团队指出，作为国产版 ChatGPT，MOSS 的最大短板是中文水平不够高：“MOSS 的英文回答水平比中文高，因为它的模型基座学习了 3000 多亿个英文单词，中文词语只学了约 300 亿个。”据了解，造成这个缺陷的主要原因是，互联网上中文网页上如广告等干扰信息很多，因此清洗难度很大。

“尽管 MOSS 已经获得了 ChatGPT 的一些能力，但我们知道还有许多限制。由于缺乏高质量的数据、计算资源和模型能力，MOSS 仍远远落后于 ChatGPT。”基于这些原因，开发团队呼吁公众积极参与 MOSS 的内测并提供反馈，以便他们进一步优化与改进。

团队回应：MOSS 非常不成熟，距离 ChatGPT 还有很长的路要走

“ChatGPT 火了两个月，可算有国产版能让我们尝尝鲜了！”作为国内首个类 ChatGPT 模型，MOSS 一经发布就引来不少网友关注，尤其是它又与最近热映的《流浪地球》系列电影中人工智能 550W 量子计算机的“MOSS”重名。

一时之间，不论是关注 ChatGPT 的技术人，还是《流浪地球》的粉丝，都对这个 MOSS 一拥而上——结果，由于瞬时访问压力过大，MOSS 服务器当晚就被挤崩了。

与此同时，网上不断出现对 MOSS 的负面评论，认为复旦大学自然语言处理实验室的这个行为，不仅蹭了 ChatGPT 的热度，还蹭了《流浪地球》的热度：“一定要叫这个名字吗？”，“名字倒是很会取，反正先占个坑，炒个热度”，“还没学会走路，就要‘抢跑’了。”

对于服务器的意外崩溃以及陆续增多的质疑，今日复旦 MOSS 开发团队在其官网发布了一则公告作为回应：

“MOSS 还是一个非常不成熟的模型，距离 ChatGPT 还有很长的路需要走。”
“最初的想法只是想将 MOSS 进行内测，以便我们可以进一步优化，没有想到会引起这么大的关注，我们的计算资源不足以支持如此大的访问量。”
“我们在训练完成第一代模型的时候，正值《流浪地球2》热映，片中 MOSS 给团队每个人都留下了深刻的印象，因此便使用了这样一个名称来指代我们的模型，以表示我们对最前沿 AI 模型的不懈追求。”