开源大模型到底开源什么?
ChatGPT出来以后很多人都在说开源,认为只要OpenAI大发善心或者哪个高超的黑客黑进服务器,把ChatGPT的源码发出来放到网上,那么到不了第二天天亮,全世界就会人手一个ChatGPT。
这是一种常见的误解。
开源字面意思是公开源代码,过去我们通常是指公开某款软件项目的源代码。知名的譬如说Linux操作系统,准确来说是操作系统内核,我们拿到Linux的源码,只要搭建好相应的编译环境,就能在本地编译一套一模一样的操作系统内核。
当然,实际会复杂一点,同一套源码用不同方法编译,运行效率、资源占用等都可能不同。这里姑且不再细抠,总之,过去软件开源给我们的印象就是,甭管什么阆苑仙葩,只要一开源就能人手一份,而且很快还会有各种换皮魔改,同人逼死官方。往好了说,这叫开源带来澎湃力量。
但大语言模型的“开源”完全不是这么一回事。先别管OpenAI现在名叫钮钴禄氏·CloseAI,就算哪天良心发现,真的要找回自己做一个名副其实的OpenAI,洗心革面把GPT-4给开源了。先别着急着高兴,对于99%的人来说,GPT-4的源码毫无意义,对于剩下的1%里的99%,可能也就蹭一些研究论文。只有最后剩下的1%里的1%才会有真正帮助,不过,也只是有帮助,但不算很大。
为什么?原因不复杂,因为大语言模型的所谓开源,实际上是有三个对象。源码只是其中之一。我不是针对谁,在座各位即使拿到了源码,剩下能做的也就只有点赞鼓掌。
人工智能三要素,算法、算力和数据。也有人管最后叫算据,不太确定这俩词是不是互通。总之,到了力大飞砖的大语言模型时代,这三要素就成了算法、高算力和大数据。只有同时满足这三大要素,你才有可能最终得到一款和ChatGPT类似效果拔群的模型。
那么,源码在哪呢?在算法。算法的核心部分主要包括有模型结构和训练方法,这两部分都有对应的源码。哪天OpenAI公开源码,我们应该就能看到的也就是模型结构和训练方法两部分。
当然,这只是核心部分。一款人工智能产品,尤其是大型人工智能产品,还会有许多工程问题需要解决,除了核心还需要其它配套部件。别看到“配套部件”就觉得没什么。之前同样是OpenAI,配套部件大概占九成。所以,别管它Open不Open吧,我们能看到的都是冰山一角。
拿到源码之后,真正的挑战才刚开始。接下来才是这个世界绝大多数人、研究机构和企业注定无法迈过的门槛:高算力和大数据。
高算力已经说了很多了,门槛很高,但从全世界范围来说,总归有一些企业挤挤还是有的。不过,大数据就未必了。
数据非常重要。无论是人工智能时代,还是人工智障时代,扩大数据的规模、提高数据的质量,通常都能显著提高模型的最终表现。以前我们经常自嘲,说人工智能就是投入多少人工就产出多少智能,人工做什么呢?就是标数据。
千万不要小看了标数据,这玩意费人、费钱,关键还费时间。搞一个大模型已经十分不易,搞一个能喂饱大模型的数据集更为困难。OpenAI这种光启动资金就10亿刀的富二代企业,标数据照样也得想办法省钱,后来还出了一条新闻。
这里插个的阴谋论,ChatGPT的免费用,换个角度看没准就成了我们给OpenAI免费标数据。有没有依据?有。OpenAI官方明着说了,你和ChatGPT的交互数据可能用于模型训练,要知道那可是一亿多的用户,那得生产多少高质量的人工标注数据。技术领先优势可以追赶,数据领先优势则就未必了。
好了,假设你七星聚顶,三大要素都凑齐了,接下来是不是就能炼出ChatGPT了呢?前面我们说过,“你才有可能最终得到一款和ChatGPT类似效果拔群的模型”。为什么是有可能?因为模型训练和编译源码不太一样,里面还包含一些难以言说的玄学因素。我一直对Bard的表现耿耿于怀,百思不得其解,我怀疑谷歌可能就是栽倒在玄学因素上面。
那么,现在很多研究者在呼吁的开源,到底是要开源什么呢?开源模型,具体来说,是开源训练好的模型参数。模型参数拿到手,基本上就能完整复现能力了。当然,这还是对于大企业、大机构来说,运行大语言模型虽然消耗的算力远不如训练,但也不是单卡就能负担的。
何况,行话说的“单卡运行”,通常是指60G显存往上。哥们那些打游戏的所谓高端显卡,在这还没够上起步价。
最后多说两句开源。开源很重要,人工智能能有今天的进步,开源功不可没。人工智能的研究成果大概有几种,首先就是论文。学术论文是要钱的,但是在人工智能领域,很多作者都免费公开了论文。当然,有些是论文,有些是名叫论文的文宣资料,通常倒数第三或者第四部分会放一些表格,表扬一下这次搞的模型在什么什么任务上面效果拔群,洋气一点,叫SOTA。
然后是源码。源码不是必选项,有些研究者只发论文不发源码,有一种原因是舍不得,觉得辛辛苦苦憋出来的成果不愿意简简单单就交给别人,当然也有可能觉得写得太烂丢不起人,或者在论文里吹太过了,担心别人复效不了质疑。
还有就是模型。前面说过,模型这玩意距离能力复现就一步之遥,有很多人爱开源模型,也有很多人不爱开源模型,原因和上面差不多,还有一种是大公司大机构才敢用,官方辞令很多,譬如“出于社会责任考虑”,或者“安全伦理存在巨大风险”等等。
谷歌在21年就搞出了大语言模型LaMDA,说技术过于先进不便展示,害得我对着论文流了好多口水。现在出来个Bard,还不如不展示。
这里为咱们的中文开源大语言模型打个Call吧,能讲中文还开源的大语言模型真的不多,清华放出来的ChatGLM-6B应该是佼佼者,而是真·单卡就能运行。这里说的是消费级显卡。
最后就是开源数据集了,这项工作很重要,但也很容易被圈外忽视。现在中文大语言模型缺的东西很多,抱怨的也很多,还有一票人天天平替这个平替那个,实在不知道怎么想。不过,讲屁话没有用,已经有一些开源项目开始做起来,这都是星星之火。
往期推荐
大语言模型(LLM)精选开源项目
中兴新支点OS桌面环境正式开源,仅104M,速度提升20%
Slint 1.0正式发布,Rust编写的原生GUI工具包
点这里 ↓↓↓ 记得 关注✔ 标星⭐ 哦
微信扫码关注该文公众号作者