作者 | 陈彩娴

编辑 | 岑   峰

最近两天，由原阿里技术副总裁、深度学习框架 Caffe 发明者贾扬清一则朋友圈引发的关于“国内某大厂新模型套壳 LLaMA 架构”的问题在中国人工智能圈与科技媒体中产生了热烈讨论。

由于贾扬清在国内 AI 圈的号召力极大，且由于贾扬清的朋友圈内容指示称套壳模型的做法是“把代码里面的名字从 LLaMA 改成了他们的名字，然后换了几个变量名”、在 Hugging Face 被海外工程师指出，碰巧几天前零一万物上传到 Hugging Face 的大模型 Yi-34B 被指出其除了有两个张量被重新命名后、完全使用了 LLaMA 的框架，于是：

在黑盒子般的逻辑链推导下，成立不到一年的零一万物成为了贾扬清在朋友圈声讨的“国内大厂”，Yi-34B 也成为了群情炮轰之下的炮灰。

事实上，贾扬清明确指出套壳模型来自“国内大厂”，但由于没有指名道姓，这则朋友圈所引发的猜忌后果甚至可能超出了贾扬清本人的意料。如一位网友所言，大家开始猜忌是阿里、是百度、还是腾讯、华为……进而引发一系列对国内科技创新的唱衰。

大模型狂飙 300 天后，人工智能圈开始出现一种声音：反对“重复造轮子”。

尽管行业一致认为，大模型驱动的 AI 新时代只需要少数的通用大模型，但在实践中，模型的数量仍然层出不穷，相形之下，万众期待的“AI 应用”迟迟没有爆发，人工智能时代的“Killer App”更是连轮廓都没有。

今天早上，深圳西丽湖论坛，百度 CEO 李彦宏与硅谷人工智能研究院创始院长皮埃罗·斯加鲁菲（Piero Scaruffi）同时用一组数据指出了这个问题：

• 2023 年 6 月，中国的大模型数量是 79 个，而 2023 年 10 月就增长到了238 个，相当于中国的大模型数量在 4 个月内增长了 3 倍；

• 截至 2023 年 10 月，仅 Hugging Face 一个平台上就有接近 3 万个文本生成模型（29776）供开发者下载使用。

这两个数据反映了全球的人工智能创新都还处于对模型热情的阶段，距离关注模型以外的产品、应用乃至商用落地模式等还有很长的路要走。也是在这一思维范式的惯性下，“套壳 LLaMA架构”成为模型架构创新一派不遗余力抨击的对象。

但对大模型发展来说，与模型数量暴增雷同的一个问题是：我们是否需要更多的模型架构？

如果我们需要更多的架构，具体数量是多少？在 GPT 大模型的“虹吸效应”下，新的大模型架构能产生多大的影响力？

在 Transformer 一统天下的大模型时代，如青年 AI 学者符尧指出，Transformer 已经固定了大模型的架构，LLaMA 架构沿用 Chinchilla、Chinchilla 沿用 Gopher、Gopher 沿用 GPT-3（GPT-3 又是基于 Transformer），每个模型的架构都是只改一两行、然后将模型重新命名。

基于全球现有的文本生成模型数量已经过万、国内的大模型数量也超过了 200，除零一万物外，如果市场上已发布的每一个大模型都进行了架构上的创新，那么目前国内市场里现存的基于 Transformer 的大模型架构已经超过了 200 个——但没有人会相信这个数字。

事实上，早在今年 5 月，圈内就流传出了不少“某家大模型套壳 XXX”的声音。

在 LLaMA 1 还未开放开源可商用授权时，对于 LLaMA 的“借鉴”就已有不少实践。由于 LLaMA 1 规定其权重不能被用于商业用途，当时圈内最早的做法是：先将 LLaMA 的权重下载下来，然后在此基础上增补。该方法最终得到的结果是：“套壳模型”最终跑出来的权重与 LLaMA 完全不同，但在部分任务上的效果不相上下。

在零一万物之前，不少国内知名的大模型公司都曾经“中过枪”，只是因为没有大 IP 的造势、才没有引起如此广泛的讨论。而这类“套壳”说法背后的依据，也主要是“沿用 LLaMA 架构”。

但如果仅因为沿用 LLaMA 架构而批评国内的模型没有创新，是有失偏颇的。笔者向多位人工智能技术人员求证后核实：相比架构的创新，训练过程也同样重要，甚至更为重要。

换言之，大家一致认同，沿用 LLaMA 架构不是问题，训练也是区分各家大模型实力的关键因素。

我们可以将 LLaMA 架构理解为一个“地基”：

如果将大模型比喻成一座房子，那么沿用 LlaMA 架构就是照板打造这座房子的“地基”，但地基以上的房子形状如何设计（即模型的能力），则要看训练过程中的数据与策略等方法论差异。沿用 LLaMA 架构的各家大模型也通常在“房子形状”上各显神通，如训练方法、数据配比。

大模型的训练实际上是一个不断在抽象的过程。Transformer 之所以被称为“基础（fundational）创新”，没有 Transformer 就没有大模型，是因为 Transformer 已经做了第一层抽象，然后 OpenAI、谷歌、百度、智谱等国内外第一批大模型探路者，包括 Meta 的 LLaMA 在 Transformer 的基础上继续做抽象。相当于，第二层抽象也仍然是在打地基、而非设计房屋形状。

因此，2023 年之后入场的大模型公司，沿用 LLaMA 的架构重新训练，是一种更符合创业公司实际、性价比更高的做法。当然，在这个过程中，沿用 LLaMA 架构、却没有声明的行为确实“不厚道”，这是需要纠正的。

但相比“重复造轮子”，更多创业者与技术人员认同的方法是，在沿用 LLaMA 等先进架构的基础上，于训练过程中完全使用自家的数据重新训练一遍。尤其对于国内的大模型来说，模型的能力要更加符合社会主义价值观，各家都对数据无比重视。

1）在训练 Yi-34B 与 Yi-6B 的过程中，零一万物的团队也是根据实际的训练框架重新实现了训练代码，用自建的数据管线构建了高质量配比的训练数据集（从3PB原始数据精选到3T token高质量数据 ）。

2）在 Infra 部分进行算法、硬件、软件联合端到端优化，以此来实现模型训练效率的提升和极强的容错能力等技术创新。

经过几年的演进，大模型圈里 LLaMA 以开源策略出圈，启发了大模型时代的开源文化，在此之后，全球多数的团队在 LLaMA 基础上进行微调训练。相比强调 “抄”LLaMA，在 LLaMA 基础上所做的技术创新也同样值得关注。

无论何时，技术创新都是驱动生产力进步的轮子。

但在当前的大模型发展中，“重复造轮子”的问题之所以为大家关注，是因为相比模型的数量与架构的比拼，决定整个行业命运的其他两个维度进展太慢：一是创新 AI 应用的涌现，二是成功的商业先例。

如前所述，大多数人都觉得，AI 时代、大模型时代的“Killer App”还没有出现。尤其在中国，大模型的数量增长与实际所爆发的应用没有成正比。在这种情况下，更多人趋向于认为：相比继续“卷”大模型，大家应该将更多重心放在 AI 产品的创新上。

同样，在大模型的商业上，即使融资力跑在最前的几家大模型，也还未交出一份可观的商业答卷。

大模型创业公司研究基座模型的用途，与其商业模式息息相关，现有的商业模式主要有两种：一是卖模型，二是做应用。

也是在不确定因素更多的当前，技术路线的选择也成为创业公司需要小心翼翼处理的问题。

如一位 AI 行业从业者指出，选择拥抱不同的生态意味着模型的架构也要不同。目前国内的开源模型中，与 LLaMA 架构不同的模型只有少数，如 GLM、RWKV，但后者的生态丰富度目前几乎还无法与 LLaMA 媲美。因此，目前国内的大多数大模型还是围绕 LLaMA 出发，如 IDEA 研究院的 Ziya 大模型就直接叫“Ziya-LLaMA”。

但与此同时，各家大模型也应该注意的一点是：LLaMA 是否为最优解？

一位资深投资者向笔者指出，如果 LLaMA 的架构足够抽象、已经能够囊括所有解的话，那么围绕 LLaMA 的开源与创新自然是最优选择；但万一 LLaMA 不是最优解，大模型创业公司直接在 LLaMA 的基础上研究，只掌握了从 1 到 100、而没有掌握从 0 到 1 的能力的话，届时进展到关键阶段后再回头，就很可能陷入寸步难行的险境。

这也是 LLaMA 开源独领风骚下需要警惕的地方。

更多内容，点击下方关注：