Redian新闻
>
够快!爆火的ChatGPT等价开源项目来了,网友:我担心跑不起来

够快!爆火的ChatGPT等价开源项目来了,网友:我担心跑不起来

公众号新闻
机器之心报道
编辑:杜伟、陈萍
感兴趣的小伙伴不妨一试。
最近一段时间,由 OpenAI 开发的 AI 聊天机器人程序 ChatGPT 横扫各大 AI 社区,大家对它的热情只增不减,不断挖掘其潜力。
有些研究者坐不住了,开始琢磨怎样才能开发个等同于 ChatGPT 的开源软件。还没有行动的小伙伴这次参考示例来了,下面我们将要介绍的这个项目(PaLM + RLHF)就实现了这样的功能。

项目地址:https://github.com/lucidrains/PaLM-rlhf-pytorch
该项目是在 PaLM 架构之上实施 RLHF(人类反馈强化学习)。基本上等同于 ChatGPT,区别是使用了 PaLM。PaLM 是在谷歌的通用 AI 架构「Pathways」上训练而成的具有 5400 亿参数的大型语言模型。而 RLHF,是 ChatGPT 在 GPT 3.5 系列模型的基础上,引入「人工标注数据 + 强化学习」(RLHF)来不断微调预训练语言模型,旨在让大型语言模型(LLM)学会理解人类的命令,并学会根据给定的 prompt 给出最优的答案。
想要了解 RLHF 更多内容,可以参考:https://huggingface.co/blog/rlhf
正如网友所说的:「在 AI 领域中,每有一次专项突破,开发者们很快就会复现出一个开源版本。」


不过该项目目前只包含训练架构和代码,没有预先训练好的权重。在使用说明上,文档也显示必须先要训练 PaLM。



对此也有网友表示担心,表示:这不是一个开箱即用的项目,还只是一个架构,就像 shell 一样,需要昂贵的开销才能训练完成,没有机构能够像谷歌那样训练 PaLM。

还有网友表示:「没有预训练权重是非常糟糕的,官方至少需要释放 50% 的稀疏权重,剩下的让开发者自己训练,才是最好的选择。」

不过也有网友表示自己会去尝试:

下面我们来看看这个项目是如何运行的。
安装
$ pip install palm-rlhf-pytorch
用法
首先训练 PaLM,就像任何其他自回归 transformer 一样。
import torchfrom palm_rlhf_pytorch import PaLMpalm = PaLM(    num_tokens = 20000,    dim = 512,    depth = 12).cuda()seq = torch.randint(0, 20000, (1, 2048)).cuda()loss = palm(seq, return_loss = True)loss.backward()# after much training, you can now generate sequencesgenerated = palm.generate(2048) # (1, 2048)
接着使用精选的人类反馈来训练奖励模型。在原始论文中,在没有出现过拟合的情况下,无法从预训练 transformer 中获得微调的奖励模型。项目作者则提供了使用 LoRA 进行微调的选项。
import torchfrom palm_rlhf_pytorch import PaLM, RewardModelpalm = PaLM(    num_tokens = 20000,    dim = 512,    depth = 12,    causal = False)reward_model = RewardModel(    palm,    num_binned_output = 5 # say rating from 1 to 5).cuda()# mock dataseq = torch.randint(0, 20000, (1, 1024)).cuda()prompt_mask = torch.zeros(1, 1024).bool().cuda() # which part of the sequence is prompt, which part is responselabels = torch.randint(0, 5, (1,)).cuda()# trainloss = reward_model(seq, prompt_mask = prompt_mask, labels = labels)loss.backward()# after much trainingreward = reward_model(seq, prompt_mask = prompt_mask)
最后将 transformer 和奖励模型传递给 RLHFTrainer。
import torchfrom palm_rlhf_pytorch import PaLM, RewardModel, RLHFTrainer# load your pretrained palmpalm = PaLM(    num_tokens = 20000,    dim = 512,    depth = 12).cuda()palm.load('./path/to/pretrained/palm.pt')# load your pretrained reward modelreward_model = RewardModel(    palm,    num_binned_output = 5).cuda()reward_model.load('./path/to/pretrained/reward_model.pt')# ready your list of prompts for reinforcement learningprompts = torch.randint(0, 256, (50000, 512)).cuda() # 50k prompts# pass it all to the trainer and traintrainer = RLHFTrainer(    palm = palm,    reward_model = reward_model,    prompt_token_ids = prompts)trainer.train(num_episodes = 50000)# then, if it succeeded...# generate say 10 samples and use the reward model to return the best oneanswer = trainer.generate(2048, prompt = prompts[0], num_samples = 10) # (<= 2048,)

更多细节内容请参阅原项目。

参考链接:https://twitter.com/rasbt/status/1608133663937495041


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
我不担心ChatGPT抢我饭碗,但我担心那件更要命的事ChatGPT讲座:ChatGPT并不神秘,但ChatGPT很神奇开源版ChatGPT来了?多数任务效果超越GPT3,已开源!爆火的ChatGPT,将开启AI大规模商业化孟晚舟将首次出任华为轮值董事长/ 百度All in类ChatGPT项目/ 知乎因ChatGPT大涨50%…今日更多新鲜事在此最近大火的ChatGPT,秒了瞎提建议的专家首个“开源ChatGPT”来了:基于谷歌5400亿参数大模型,华人小哥出品,网友吐槽:这谁能跑?一文读懂最近爆火的ChatGPT回国前申请健康码要做的那些事Stack Overflow临时禁用ChatGPT生成内容,网友:人类和AI快打起来!芯片只是红领巾华尔街交易员为何不担心ChatGPT抢饭碗?ChatGPT:我预测不了市场全球都为ChatGPT疯狂,它到底是风口还是虚火?深度解读风暴眼中的ChatGPT | 直播预约爆火的 ChatGPT 太强了!写代码、改 bug,网友:可取代 Stack Overflow 了比尔盖兹看好ChatGPT"将改变全世界",微软将整合到Word、PPT等Office程式中爆火的ChatGPT,文案什么水平?美国立法者开始关注爆火的ChatGPT闪极又一力作!苹果MFi认证数据线,超弹、够酷、够粗、够快!自始至终的相伴用过后,发现大火的chatGPT并不能帮写论文...走近记忆-睡熊沙丘国家湖岸秋游有时我担心我的代码会让 TypeScript 开发者愤怒地退出盘点5大技术板块、洞察56个开源项目:InfoQ研究中心带你探秘中国开源数据库FastTrack Universität 2023莱比锡大学公立语言项目招生简章ChatGPT和谷歌搜索不必二选一!爆火开源插件神器,中国团队打造最近爆火的ChatGPT,什么来头?当澳洲留学生调戏最火的ChatGPT,这些回答让人笑到头掉!大火的ChatGPT,能做科普么?爆火的ChatGPT,被小学生打败了曾写出毁灭人类计划书,爆火的ChatGPT是把双刃剑一大波 ChatGPT 开源项目,诞生了!爆火的ChatGPT,先颠覆谁?爆火的ChatGPT杀疯了!写代码、改bug,网友:可取代Stack Overflow了乌克兰第一夫人:我担心人们会有“乌克兰疲劳症”,会对发生的一切习以为常
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。