百模大战：中国的ChatGPT有多强？

说中文的机器人

ChatGPT 在中国不能使用。但这不是研究人员开发本地替代版本的唯一缘由。唐杰说，中文 LLM 能输出更反映中国用户需求和偏好的结果，比如因国家而异的金融和教育信息。

他说这就好比用中国而不是西方的社交平台 app 来训练语言模型。他说：“微信基本上比 Snapchat 更了解中国人。”专为不同语言设计的模型能防止过度简化或忽视特定语言和文化的独有特征，位于巴黎的开源语言模型平台 Hugging Face 的社区领导 Adina Yakefu 说。

为了生成类似人类的回复，LLM 需要处理几十亿条句子，从中学习词汇间的统计学关联，这些资源通常来自网络。对话机器人还会基于人类训练者的反馈进一步优化。ChatGLM 的开发者会用专门的中文例子来训练它，并让说中文的人提供反馈[1]。

ChatGLM有英文和中文界面。来源：ChatGLM

仍需深究

唐杰说，这些中文数据来自网上，有些是向公司购买的。目前缺少可公开使用的中文数据集来训练模型，来自海口的 Hugging Face 工程师王铁震说。

开发非英语 LLM 还面临其他挑战。为了方便分析，大部分语言模型会将文本拆分成名为“词元”（token）的小单位。但中文词语间不用空格来分隔，这让分词（tokenization）变得很复杂，Wang 说。但唐杰表示，ChatGLM 使用的分词法与英文 AI 模型使用的几乎一模一样。

在 ICLR 2024 上，智谱 AI 用数据表示，ChatGLM 底层模型 GLM-4 的最优版本在多个标准上能达到 GPT-4 模型（OpenAI 的强大模型）得分的 90% 以内。这其中包括对通用知识、一般常识和数学能力的测试。ChatGLM 还在 LLM 面向中文的一个优化标准上打败了 GPT-4。唐杰表示，他们团队很快将发布一份关于 GLM-4 的技术报告。

加州大学洛杉矶分校的计算机科学家孙怡舟说：“我对他们能和 GPT-4 达到差不多的水准印象特别深刻。”

中国的LLM热

ChatGLM 网站发布了一个面向公众的中英文界面版本。有些 GLM 产品——包括更早的 GLM-130B 基础模型[2]和 ChatGLM-6b 对话机器人——都是开源的。这表示任何人都能下载并训练它们用于特定场景，科学家也能查看底层代码，研究它是如何运作的。

唐杰说，ChatGLM-6b 已被下载 1300 万次。该模型使用 60 亿个“参数”——这些参数是捕捉词语间统计学关联的单元，这个模型也是 ChatGLM 对话机器人中最小的。不过，GLM-4 模型和更大版本的 ChatGLM（有 1300 亿个参数）的内部运作方式和 ChatGPT 和 GPT-4 一样，是不开源的。

中国还在开发的 LLM 有几十种。Yakefu 说，2023 年中国推出了超过 100 个 AI 模型，“我们称之为‘百模大战’。”比如科技巨头百度和阿里巴巴都推出了自己的 AI 对话机器人。

中国的 LLM 需要遵守针对生成式 AI 系统的监管规定，这些规定自去年 8 月开始执行，要求这些模型符合社会主义核心价值观，并采取有效措施提升生成式人工智能服务，提高生成式内容的准确度和可靠性等。

Yu 将中国的规定与其他国家为保障 AI 系统安全的措施进行了比较。“在中国，整个国家坚持一定的价值观，”他说，“任何社会都有大家不谈论的内容，每个社会都有这些禁忌。”

通用智能

点击【在看】，及时接收我们的内容更新