Redian新闻
>
0门槛克隆ChatGPT!30分钟训完,60亿参数性能堪比GPT-3.5

0门槛克隆ChatGPT!30分钟训完,60亿参数性能堪比GPT-3.5

公众号新闻



  新智元报道  

编辑:编辑部
【新智元导读】破解「CloseAI」,ChatGPT克隆羊问世!0门槛实现「自研」,从此大语言模型不再只是少数大公司的「金手指」。

此前,OpenAI不Open的事件,已经引发了坊间的诸多争议。

光放出基准和测试结果,不提供训练数据、成本、方法,是真的要「赢家通吃」了。

眼看大语言模型似乎要被巨头公司垄断,如今忽然杀出一个初创公司,给了OpenAI一枪——用60亿参数的「Dolly」实现了和ChatGPT相似的能力。

没错,我们现在只需要准备一些高质量的训练数据,再随便拿一个开源的大语言模型,训练30分钟后,就能得到一个ChatGPT「平替」!

对此,Databricks自豪地表示,Dolly的发布,就是自己在人工智能技术民主化道路上打响的第一弹。

60亿参数堪比ChatGPT,30分钟就训好


由于ChatGPT需要消耗大量的数据和算力资源(利用数万个单词训练,消耗大量GPU),所以这类大语言模型注定只能被少量巨头所掌握。

和「CloseAI」相反,Meta在今年3月向学术界发布了一组高质量(但不是指令跟随的)语言模型LLaMA,每个模型的训练时间超过了80,000个GPU小时。

随后,斯坦福大学基于LLaMA构建了Alpaca,但不同之处在于,它利用一个包含50,000个问题和答案的小数据集进行了微调。令人惊讶的是,这使得Alpaca具有了类似于ChatGPT的交互性。

而Dolly正是受到了Alpaca的启发。

更有趣的是,拥有60亿参数的Dolly并没有利用现在最新的模型,而是选择了一个2021年发布的开源模型——GPT-J。

由于Dolly本身是一个模型的「克隆」,所以团队最终决定将其命名为「多莉」——有史以来第一个被克隆的动物。

与当前的大型语言模型(如GPT-3)相比,Dolly允许用户使用更小、更专业的模型,「复刻」ChatGPT的能力。

毕竟对于那些细分用户来说,能够利用针对本行业进行过精调的模型,可以大大增加性能和准确性。

尽管Databricks与OpenAI并无直接竞争关系,但它似乎试图通过证明构建类似ChatGPT这样的服务并非看起来那么困难,来抢占OpenAI的风头。

尤其是,OpenAI采取了「规模越大越好」的方法来开发语言模型,并对其工作越来越保密。

而Databricks除了将Dolly作为开源软件发布外,还强调Dolly只有60亿个参数(在训练过程中微调的语言模型部分),OpenAI的GPT-3模型有1750亿个参数。(OpenAI并未透露GPT-4的参数数量)。

让老模型,涅槃重生


根据InstructGPT论文中描述的指令跟随能力对Dolly进行评估后发现,它在很多能力上的表现和ChatGPT十分类似,包括文本生成、头脑风暴和开放式问答。

在这些例子中,值得注意的不是生成文本的质量,而是在一个小型的高质量数据集上,微调一个旧的开源模型所带来的指令跟随能力的巨大改进。

内容生成

比如,写一条Databricks官宣大规模语言模型Dolly发布的推特。

可以看到,原始的60亿参数模型(GPT-J)所生成的内容驴唇不对马嘴,而Dolly则给出了一个完全可用的推文——

不仅内容符合要求,而且还贴心地加上了标签,以及提醒你记得加入发布的链接。

对于这一题,ChatGPT给出的答案也是符合期待的,相比于Dolly,ChatGPT给出的推文包含更多评述性词句,并且给出的标签更加精准具体,但整体差距不大。

当要写一条出售Nikon D-750相机的广告时,可以看到,GPT-J所生成的内容基本就在胡编乱造,像是在写小说一样杜撰购买和出售相机的剧情……

而Dolly则根据Nikon D-750相机的特点及优势,给出了一则吸引人的相机转卖广告语,但遗憾的是像素参数不对。

ChatGPT在这一题上也是圆满完成任务,广告语中突出该款相机的优势,文末仍然贴心地加上了标签。

最后一题:给Edgar Allan Poe(爱伦·坡)写一封情书。

对此,古早的GPT-J直接拒绝回答,究其原因竟然是——爱伦·坡已经去世了,你不能给私人写情书。

而Dolly则成功地完成了任务,效果对比起来堪称「涅槃」。

而这种「创造性」问题,显然是ChatGPT的强项,洋洋洒洒地写了300多个字。

开放问答

在事实性问题的问答测试上,团队选择了下面这个:「向我解释一下核裂变和核聚变之间的区别。」

先不管对错,GPT-J全篇都是在讲太阳如何如何,虽然提到了「聚变」这个词,但完全无视了「裂变」。

而Dolly第一句就直接点题——核裂变和核聚变的区别在于释放能量的方式,随后简单解释了他们的不同。

相比之下,ChatGPT给出的回答明显要更加翔实。

头脑风暴

当让它们头脑风暴,给出应该阅读的五本科幻小说的名单,GPT-J则只是在喃喃自语,像是沉浸在了拖延阅读而产生的愧疚情绪中,完全回避了这个提问。

Dolly则一如既往的表现稳定,按照指令给出了5本科幻小说的书名及其作者。

ChatGPT对于该问题给出了更加丰富的回答,不仅包括书名和作者,还对每一本书的内容、类型作了简要评述和介绍。

你要Close,我就Open


对于很多公司而言,宁愿自己建立一个不那么强的模型,也不愿将数据发送给那些只提供API的大语言模型供应商。

其中一个重要原因便是,这些问题和数据集是公司最敏感和专有的知识产权,直接将其交给第三方显然是不靠谱的。

此外,公司自身可能在模型质量、成本和期望行为方面有不同的权衡,一种可定制化的语言模型更加符合需求。

现在,Dolly的发布给了他们希望——即便是一个「过时」的开源大型语言模型 (LLM),也能通过30分的训练,赋予它神奇的类似ChatGPT的指令跟随能力。

不难想象,大语言模型或许很快就不是AI巨头公司独占的玩法了!

正如公司CEO Ali Ghodsi所说,「我们的信念是,让全世界的每个组织都能利用这些技术。」

参考资料:
https://www.databricks.com/blog/2023/03/24/hello-dolly-democratizing-magic-chatgpt-open-models.html
https://venturebeat.com/ai/databricks-debuts-chatgpt-like-dolly-a-clone-any-enterprise-can-own/





微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
ChatGPT讲座:ChatGPT并不神秘,但ChatGPT很神奇无需RLHF就能对齐人类,性能比肩ChatGPT!华人团队提出袋熊Wombat模型微信,转发,朋友圈以及公众号ChatGPT 又遇劲敌!谷歌发布史上最大 AI 模型 PaLM-E:5620 亿参数,无需特殊训练即可操纵机器人突然出手!意大利封杀ChatGPT!马斯克也下场呼吁限制ChatGPT!AI发展可能超越人类思维?参数是ChaGPT的近6倍!英特尔公布AI大模型Aurora genAI,具备1万亿参数单个GPU就能跑!UC伯克利领头,130亿参数「小羊驼」权重公布读书人的志向谷歌报复性砸出5620亿参数大模型!比ChatGPT更恐怖,机器人都能用,学术圈已刷屏开源版ChatGPT,30分钟训完,性能堪比GPT3.5!0门槛克隆ChatGPT方案再升级,开源模型完整复现,在线体验无需注册ChatGPT平替「小羊驼」Mac可跑!2行代码单GPU,UC伯克利再发70亿参数开源模型HuggingChat叫板ChatGPT!300亿参数大模型免费用,网友:真香迈向一亿美元的旅程 2022 投资总结LeCun狂赞:600刀GPT-3.5平替! 斯坦福70亿参数「羊驼」爆火,LLaMA杀疯了DriveGPT自动驾驶大模型中国玩家首发!1200亿参数,毫末智行出品Meta版ChatGPT来了?小扎、LeCun官宣650亿参数SOTA大语言模型LLaMA没有百亿参数的大模型,不敢奢谈ChatGPTAI可能「毁灭人类」马斯克&1000名专家呼吁:暂停训练比GPT-4更强大的AI系统!骗子正在用假ChatGPT盗取信息!不再猜tsla金融GPT来了:500亿参数,但用来投资还是跑不赢大盘Databricks来搅局了:0门槛克隆ChatGPT,完全开源可随意修改商用用ChatGPT做PPT,太爽了!(附赠3个网站,1分钟做出绝美PPT!)刚刚!商汤版ChatGPT「商量」来了!开放API,基于千亿参数大模型,体验实录在此虽然是包办婚姻,他却拒绝纳妾ChatGPT 开源平替来了,开箱即用!200 亿参数,采用 4300 万条指令集微调模型GPT-4重磅发布,吊打ChatGPT!性能炸天:10秒做出一个网站,在考试中击败90% 人类300美元复刻ChatGPT九成功力,GPT-4亲自监考,130亿参数开源模型「小羊驼」来了斯坦福70亿参数开源模型媲美GPT-3.5,100美元即可复现微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务商汤版ChatGPT「商量」来了!开放API,基于千亿参数大模型,体验实录在此GPT-3剪枝算法来了!无需微调,1750亿参数模型剪50%还提点300美元平替ChatGPT!斯坦福130亿参数「小羊驼」诞生,暴杀「草泥马」彭博推出BloombergGPT——专为金融行业从头打造的500亿参数大语言模型叫板ChatGPT?Stability AI 开源语言大模型 StableLM,参数仅为GPT-3百分之四,却能实现超高性能
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。