中国的“GPT”，造谣是真的猛

大模型是什么？

依赖大量训练数据和计算资源来实现高性能的模型

昨天科大讯飞股价于午间13点开始断崖式下跌，一度下跌9.16%。

原因说来可笑，有人造谣“科大讯飞被曝涉嫌大量采集用户隐私数据，并将其用于人工智能研究”。股价大跌后，发现该谣言是有人用百度大模型“文心一言”编造的。

科大讯飞自己也在搞“讯飞星火”大模型。

在ChatGPT爆火之后，国内很多厂商纷纷跟进，搞出了类似“ChatGPT”的大模型，“讯飞星火”和“文心一言”都是其中代表。这次是有人用“文心一言”生成谣言打击了科大讯飞，显然是两家公司都不愿看到的，幕后黑手必须要得到惩罚。

作为2023年科技圈最火的词，“大模型”就像是多米诺骨牌中的一块触发牌，轻轻一碰便在整个人工智能领域引发了一系列颠覆式的连锁反应。

按定义上说，大模型是需要大量训练数据和计算资源，依赖动辄上亿乃至数十亿的模型参数来实现高性能的模型。

这么多定语暗示大模型的一个标志性的特点就是“大规模”。以ChatGPT为例，从GPT-1到GPT-3，模型的参数量从1.1亿个增长到了1750亿个，短短几年时间即增长了1000多倍，最新发布的GPT-4更是达到了万亿级别的参数。

研究人员发现，当训练量超过某个阈值时，模型的精度会突然暴增。一旦解锁这种“涌现能力”，模型就会因量变引起质变，开启“自动驾驶”模式。即使在没有专门训练过的领域，也能涌现出知识理解和逻辑推理能力。

于是，各家大厂开始在模型中加入越来越多的参数，模型规模屡创新高。

百度“文心一言”背后的大模型的参数量为2600亿，腾讯的“混元”大模型也达到了千亿级参数，阿里的“通义千问”大模型则更夸张：已官宣达到10万亿参数。

随着各大厂在模型参数上实施“军备竞赛”，业界似乎秉持着“模型越大越好”的观点，但这其实并不完全正确。

OpenAI联合创始人兼CEO Sam Altman曾公开表示，OpenAI正接近LLM（大型语言模型）规模的极限，规模越大并不一定意味着模型越好。规模不是衡量模型质量的最重要指标，未来将有更多的方式来提升模型的能力和效用。

有其他专家指出，模型参数提升带来的收益似乎存在边际效应递减的现象。

以谷歌发布的拥有1.6万亿参数的Switch Transfomer为例，当谷歌把参数量提升了一个量级后，模型的性能确实有所提升，但是此时带来的性能收益已经远不及以前那么“惊艳”了。

还有观点认为，在一些垂直专业领域，并不需要超大规模的模型，不恰当的网络架构设计反而会造成对计算资源极大的浪费。

与之相对应的是，中小模型的针对性更强，未来基于大模型再开发的各类小模型，可以更迅速地应用到各行各业，提供多元化服务。

回到底层技术，这一轮大模型技术取得实质性突破离不开一个基础模型结构——Transformer。

Transformer的核心之一是自注意力机制（Self-Attention），该机制能够通过关系的特征学习表达相关性，其对序列数据的并行处理能力远超LSTM（长短时记忆网络，一种深度学习中的循环神经网络）。

同时，自注意力机制把关注程度转换成了一个可衡量的指标，也就是“注意力”，模型的注意力层可以更好的去学习所有输入之间的关系，最后的前馈层又对输入的信息进行高效的存储和检索。

2018年以来，基于Transformer的神经网络模型推动了新一轮自然语言模型的发展，可以说，Transformer为自然语言处理开启了一种新范式，极大地推进了语言建模和语义理解，带来了通用人工智能的曙光。

总之，作为一种工程化创新，大模型是数据、算法、算力等要素资源之间的精巧组合。数据是大模型的基础，算法是大模型的核心，算力是大模型的保障。

除了投入大规模、高质量的语料作为“养料”，还需不断对模型进行调优，才能让它可以真正开始高效提炼、蒸馏人类的知识，达到类似于人的智能效果。

国产大模型乘风起

从开源的“MOSS”到备受关注和争议的“文心一言”

我们之前的文章《AI也要被管起来了》深入探讨了2023年春季“顶流”ChatGPT的迭代与进化，同时也用较小的篇幅介绍了国内各大厂在GPT领域的布局。

相较于国际市场上以微软与谷歌两巨头为主导的大模型角力，国内市场则呈现出大厂领衔、百花齐放的趋势。

2023年2月20日MOSS发布，此MOSS不是《流浪地球》系列电影里的机器人，而是复旦大学邱锡鹏教授团队发布的“国内第一个对话式大型语言模型”。

根据介绍，MOSS可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。

这款模型引发关注的一个点是，它的英文回答水平比中文高，开发团队解释称，“因为它的模型基座学习了3000多亿个英文单词，中文词语只学了约300亿个。

截至到4月1日，MOSS已拥有200亿参数，具有和人类对话的能力，并可以通过与人类交互实现迭代优化。

但同时，尽管对语言的理解能力和ChatGPT已经非常相近，但是由于MOSS在部署和训练上投入的资本还非常有限，其整体完成度并不高。

4月21日，MOSS正式开源，成为国内首个插件增强的开源对话语言模型。

开源后的MOSS不仅更加成熟，而且还增加了“搜索引擎、计算器、解方程、文生图”等插件功能，既可在线体验，也支持本地部署。

MOSS发布后不到一个月，3月16日，百度发布了备受关注的大语言模型“文心一言”，由此成为国内第一家发布类ChatGPT大模型的企业。

“文心一言”的发布，可以说关注度最高，争议声也最大。

由于此前很多人认为ChatGPT的中文问答能力不如英文问答能力强，“文心一言”对中文语言的理解能力成为其备受关注的一个方面。

百度CEO李彦宏认为，作为扎根于中国市场的大语言模型，文心一言具备中文领域最先进的自然语言处理能力。

在发布会现场的展示中，文心一言正确解释了成语“洛阳纸贵”的含义、“洛阳纸贵”对应的经济学理论，还用“洛阳纸贵”创作了一首藏头诗。

由于汉语的特殊性，中国企业在研发大模型时面临的难度更大，但若突破了，也会在提供本土服务时，具备更大的优势。

百度能成为国内首家发布类ChatGPT大模型的企业，具备了大多数的硬件条件：近水楼台的智能云、充裕且体系健全的算力、运行平稳的深度学习框架、一群具有多年AI开发经验的人才，最重要的，还有一个日活数十亿的搜索引擎来提供中文的本地化数据。

信心很重要，但差距无法忽视。

正如李彦宏在发布会上所说，“文心一言”在测试时还是有许多不完美之处：发布会后一些抢先测试“文心一言”的用户陆续晒出了测试截图，其文生图功能的质量尤其引发热议，不乏激烈的争论。

单就训练量这一指标上，“文心一言”短期内很难追上ChatGPT，毕竟，ChatGPT已经跑了好几年。不过，就算是ChatGPT，在不少场景下仍有不少Bug。

整体而言，这类语言大模型还远未到完善的阶段。

星星之火可以燎原

科大讯飞大模型应用落地

百度“文心一言”的出现，拉开了这场人工智能狂欢的序幕。

掀起新技术浪潮的AI大模型，已经成为各家科技公司必须参加的一场大考。身为“人工智能国家队”的科大讯飞，自然不会错过这样一场盛宴。

科大讯飞通过认知智能全国重点实验室牵头设计了通用认知大模型评测体系，在科学的评测体系中，推动大模型的发展。

5月6日，科大讯飞举行了讯飞“星火”认知大模型成果发布会，正式发布讯飞“星火”认知大模型，同时发布了教育、办公、汽车、数字员工四大行业应用成果。

“星火”本意是大火的火星或一瞬即逝的光，容易联想到的成语是“星火燎原”，指起初力量弱小但生命力旺盛的事物会迅速发展壮大。

科大讯飞以此命名大模型，应当是取其燎原壮大之势，与当今AI智能的高速迭代相互映照。毕竟，你我都正见证大火燃起。

和目前市面上已知的通用大模型一样，“星火”具有和人类进行自然对话的能力，能够结合上下文语境回答各类问题，同时能理解超长文本理解，可以从复杂文档中提取和概括信息，在理解需求的情况下完成各种任务，比如翻译、吟诗作词、逻辑推算、文案创作等。

值得一提的是，与百度“文心一言”不同，“星火”在发布会现场的展示并非录播，而是国内少有的全程真机互动、现场实测。

此外，发布会的最后甚至放出了二维码，现场收集观众问题进行答复，可见讯飞对于“星火”的信心。

从现场体验来看，讯飞“星火”总体表现可圈可点。

“星火”对于不少逻辑问题都能给出准确的答复，表现十分稳定；使用语音输入进行交互的特性，搭配独有的“图片内容翻译”功能，更是充分发挥了科大讯飞的特长。

按照通用认知大模型的评测体系来看，讯飞已在文本生成、知识问答、数学能力三个方面超越ChatGPT，同时科大讯飞还进一步公布大模型年内三次升级时间点，预计10月底将整体赶超ChatGPT。

更重要的是，科大讯飞通过对教育、医疗、交互和办公领域的深度训练生成的专用大模型，显著提高了认知大模型在细分领域的实用性，力求让自身的能力能够被各行各业低门槛地应用。

“星火”率先在细分行业实现深度应用成了国内率先应用落地的AI大模型 。

没有盲目追赶第一波大模型浪潮的科大讯飞，这一次将“应用落地”作为自己的答卷。

大模型的开发对各方面能力要求极高，各大厂重金入局

中小企业的机会在哪里？

从2月下旬MOSS发布到现在的两个多月里，除了以上热度最高的百度“文心一言”，讯飞“星火”，国内目前已发布的大模型已经超过20个。

在“文心一言”正式发布的同月，就有两个相对不太引人关注的大模型推出：3月14日，澜舟科技推出孟子对话大模型（MChat）。

同样在3月14日，清华大学开源了60亿参数的ChatGLM-6B模型，该模型结合了模型量化技术，用户可以在消费级的显卡上进行本地部署。

4月，大模型的浪潮继续翻滚。

视觉技术起家的商汤科技于4月10日发布“日日新SenseNova”大模型体系，为行业提供创新引擎。

商汤科技的发布会后一天，阿里巴巴在北京发布“通义千问”，并表示阿里巴巴所有产品未来将接入“通义千问”大模型，进行全面改造。

在大厂消息异常喧闹之下，一些垂直领域的大模型也在相对低调地发布着。

上海人工智能实验室发布全球中期天气预报大模型“风乌”，该模型首次实现在高分辨率上对核心大气变量进行超过10天的有效预报，并仅需30秒即可生成未来10天全球高精度预报结果。

4月12日，致力于自动驾驶的人工智能技术公司毫末智行发布自动驾驶生成式大模型DriveGPT“雪湖·海若”。

4月26日，专注于企业级人工智能的软件公司第四范式向外界展示了其GPT大模型产品“式说3.0”，并首次提出AIGS战略（AI-Generated Software）：以生成式AI重构企业软件。

总的来看，在中国，布局ChatGPT的企业有两种类型：第一种是传统的互联网大公司，第二种是一些初创企业。

然而，目前市场上的初创公司似乎已经错过了布局大模型的初始创业阶段。

主要原因在于，从0开始打造生成式AI企业能否取得成功，跟时机、底层的生态支撑度，还有创始人自身的阅历、经验、视野、资源的调动能力息息相关。

更重要的是，要做出大模型，需要长时间的巨额资金投入。

要想跑通一次100亿以上参数量的模型，至少要做到“千卡/月”这个级别，即：用1000张GPU卡，然后训练一个月。即使不用最先进的英伟达A100，按照一张GPU五万元的均价计算，1000张GPU意味着单月5000万的算力成本，这还没算上算法工程师的工资。

更何况，无论是深度学习还是自然语言处理，都需要多年的坚持和积累，没有哪家公司能在几个月内突击做出“文心一言”这样的大语言模型。

可以说，大模型训练是暴力美学，需要有大算力、大数据和大成本，每一次训练任务都耗资巨大。

能承受如此巨大的前期投入的初创公司也没几个。

因此，对于资金和算力实力有限的大部分创业者和企业来说，从头开始做ChatGPT和“文心一言”这样的基础大模型并不是一个经济可行的选择，基于通用大语言模型抢先开发重要的应用服务，或许才是真正的机会。

我们也在知识星球里评测过某一款国产大模型，并会继续分享AI辅助办公的知识，欢迎大家进来玩。

大家一起来学习大模型，但千万不要用来作恶。

文章用图：图虫创意

本回完