大模型之争（1）：“参数为王”？

最近一段时间，互联网科技圈掀起了一股大模型发布潮，百度、腾讯、阿里、华为等大厂纷纷官宣了自己的AI大模型。不少业内人士发现，大模型正在以“肉眼可见”的速度越长越大，参数规模似乎成为象征着大厂出手的一个“标配”。然而，OpenAI联合创始人兼CEO 萨姆・奥尔特曼（Sam Altman）却给大家泼了一盆“冷水”。他指出，大语言模型规模已接近极限，并非越大越好。

OpenAI GPT4演示页面

对比小模型，大模型一个标志性的特点就是“大规模”。从GPT-1到GPT-3，模型的参数量从1.1亿个增长到了1750亿个，几年的时间内增长了1000多倍。最新发布的GPT4据悉已达到了万亿级别的参数。

研究人员发现，当训练量超过某个阈值时，模型的精度会突然暴增。一旦解锁这种“涌现能力”，模型就会因量变引起质变，开启“自动驾驶”模式。即使在没有专门训练过的领域，也能涌现出知识理解和逻辑推理能力。

于是，各家大厂开始在模型中加入越来越多的参数，导致模型规模屡创新高。国内百度“文心一言”背后的大模型为2600亿参数，腾讯“混元”大模型也达到了千亿级参数，华为“盘古”大模型参数规模据推测可能已经接近GPT-3.5 的水平，阿里“通义千问”大模型则官宣已达到10万亿参数。

伴随参数之争愈发“白热化”，业界似乎陷入了一个误区，以为模型越大越好，其实事实并非如此。OpenAI联合创始人兼CEO Sam Altman表示，OpenAI正接近LLM（大型语言模型）规模的极限，规模越大并不一定意味着模型越好，而可能只是为了追求一个数字而已。LLM的规模不再是衡量模型质量的重要指标，未来将有更多的方式来提升模型的能力和效用。

有专家指出，模型的性能有一个不明确的上限。以谷歌发布的拥有1.6万亿参数的Switch Transfomer为例，当谷歌把参数量提升了一个量级后，确实会对性能有所提升，但是此时带来的性能收益已经远不及以前那么“惊艳”了。这似乎是一种边际效应递减现象。

也有观点认为，在一些垂直专业领域，并不需要超大规模的模型，不恰当的网络架构设计反而会造成对计算资源极大的浪费。APUS创始人兼CEO李涛表示，中小模型的针对性更强，未来基于大模型再开发的各类小模型，可以更迅速地应用到各行各业，提供多元化服务。

回归大模型底层技术，Transformer才是这一轮人工智能技术取得实质性突破真正核心的“因”。“2018年以来，基于Transformer的神经网络模型推动了新一轮自然语言模型的发展。模型结构的不断演进和优化，改善了模型或算法的效果。”Forrester高级分析师卢冠男表示。可以说，Transformer为自然语言处理开启了一种新范式，极大地推进了语言建模和语义理解，带来了通用人工智能的曙光。

“现在大多数的大模型都是基于Transformer，这是毫无疑问的。”清华大学人工智能研究院、视觉智能研究中心主任邓志东表示。Transformer的核心之一是自注意力机制（Self-Attention），能够通过关系的特征进行学习表达相关性。同时，它对序列数据的并行处理能力远超LSTM（长短时记忆网络，一种深度学习中的循环神经网络）。

“大型语言模型利用自注意力机制的Transformer神经网络，把成千上万个Transformer串联起来，通过对大规模文本的数据学习建立从单词、短语、句子、段落不同层次之间相互连接的关系，基于连续关系进行统一整体的表达，这让它的理解能力、整体逻辑都非常强。”邓志东说道。

通义千问架构图

作为一种工程化的创新，大模型是数据、算法、算力等要素资源之间的精巧组合。除了投入大规模、高质量的语料作为“养料”，还需不断地对其进行工程化调优，才能让它可以真正开始高效提炼、蒸馏人类的知识，达到类似于人的智能效果。

算力同样是模型性能的重要支撑。“在模型结构确定后，需要通过训练的方式获得模型结构中的参数，这一过程是以数据为输入进行的。当下趋势中，数据规模不断增长，模型结构中的参数不断增加，这加大了训练过程中对算力的需求。”卢冠男指出。同时，模型训练完成后，在使用的过程中，也需要基于新的客户数据进行推断计算（inference）。这一推断计算的过程也依赖算力的支持。

“数据是大模型的基础，算法是大模型的核心，算力是大模型的保障，它们之间相互作用和协同合作，才能够打造出更加完善和优秀的大模型。”成都市人工智能产业协会秘书长李娅娜表示。

她建议，可以从“数据质量、算法与模型结构、参数规模与适应性、算力与性能”四个角度进行评估，一个模型是否“好用”肯定最终还是用户说了算。