Redian新闻
>
ChatGPT时代的开源解法,「白泽」一作亲自解读

ChatGPT时代的开源解法,「白泽」一作亲自解读

公众号新闻


ChatGPT 等聊天模型已显示出令人印象深刻的功能,并已在众多领域被迅速采用。然而,这些模型只能通过受限的 API 访问,这为该领域的进一步研究和进步设下了重重障碍。此外,由于缺乏多轮对话的高质量聊天语料,更是加剧了这个问题,进而限制了改进和评估这些模型的可能性。

不久之前,Meta「开源」了一个新的大模型系列 ——LLaMA(Large Language Model Meta AI),参数量从 70 亿到 650 亿不等。130 亿参数的 LLaMA 模型「在大多数基准上」可以胜过参数量达 1750 亿的 GPT-3。然而从 ChatGPT 和 GPT-4 的发展中我们可以看到,高质量的标注数据仍然至关重要,OpenAI 对数据和标注工作下了很大力气。

对于学界来说,很难在短期做同样的事。我们不禁会问有没有更好的方法呢?此前,机器之心报道的一篇文章中,来自加州大学圣迭戈分校、中山大学和微软亚研的研究者提出了「白泽」。具体来说,他们提出了一个自动收集 ChatGPT 对话的流水线,通过从特定数据集中采样「种子」的方式,让 ChatGPT 自我对话,批量生成高质量多轮对话数据集。其中如果使用领域特定数据集,比如医学问答数据集,就可以生成高质量垂直领域语料。

白泽目前包括四种英语模型:白泽 -7B、13B 和 30B(通用对话模型),以及一个垂直领域的白泽 - 医疗模型,供研究 / 非商业用途使用,并计划在未来发布中文的白泽模型。白泽的数据处理、训练模型、Demo 等全部代码已经开源。

为了更好的帮助大家了解这项研究,机器之心最新一期线上分享(即本周二晚上 8-9 点)邀请到了论文一作许灿文,为大家解读他们近期的工作 「白泽」。


分享主题:Baize 白泽 ——ChatGPT 时代的开源解法

嘉宾简介:许灿文,加州大学圣迭戈分校博士候选人,曾于 Hugging Face 任研究员,并在 Google Research、微软研究院等实习。屡次担任 ACL、EMNLP、NAACL、NeurIPS、ICML、ICLR、WWW 等顶会审稿人。

分享摘要:本次主要分享开源聊天模型 Baize 白泽提出的「自聊天」数据收集管线以及训练细节,详细分析与其他开源聊天模型的异同。此外,作者还将分享通过训练 Baize 模型,获得的对于聊天模型的新理解、新发现,对于如何防止模型被滥用、如何减少有害输出方面的心得和思考。

相关链接
 
论文链接:https://arxiv.org/abs/2304.01196
Github 链接:https://github.com/project-baize/baize-chatbot



直播间:关注机动组视频号,立即预约直播。


交流群:本次直播有 QA 环节,欢迎加入本次直播交流群探讨交流。

机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动欢迎所有 AI 领域技术从业者加入

  • 点击阅读原文,访问机动组官网,观看更多精彩分享

  • 关注机动组服务号,获取每周直播预告


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
【城事】巴黎市长将重修Châtelet 广场以方便行人商汤版ChatGPT,要和你「商量」一下:第一手真实体验来了秘塔科技:“中国的Grammarly”如何应对GPT时代的“降维打击”2000元训练比肩ChatGPT的开源大模型!GPT-4亲自盖章认证,模型权重均可下载ChatGPT路线图曝光:没有GPT-5、识图功能要等到明年、GPT-3或将开源做Matter+ChatGPT时代的瞭望者!AWE同期AloT智能家居峰会周五开启,完整议程公布这是Meta版ChatGPT雏形?开源、一块GPU就能跑,1/10参数量打败GPT-3科技部部长谈ChatGPT时,举了这样两个例子ChatGPT时代,重新定义官网Vicuna:与ChatGPT 性能最相匹配的开源模型梦红薯ChatGPT时代来了,试问机器能生成人的精神吗?300美元复刻ChatGPT九成功力,GPT-4亲自监考,130亿参数开源模型「小羊驼」来了巴黎市长将重修Châtelet 广场以方便行人马斯克:ChatGPT时代开始后,教育最核心的是培养批判性思维男子离婚后,花5万买“硅胶娃娃”当老婆,一年后却发现不对劲!开源版ChatGPT来了?多数任务效果超越GPT3,已开源!ChatGPT时代情感分析还存在吗?一份真实调查全球都为ChatGPT疯狂,它到底是风口还是虚火?深度解读风暴眼中的ChatGPT | 直播预约车万翔:ChatGPT时代,NLPer 的危与机集成ChatGPT后必应日活量首破亿!微软推出Azure OpenAI ChatGPT 服务,GPT-4下周发布号称可以成为 ChatGPT 平替的开源模型 “Dolly” | Linux 中国13层网络如何拿下83%精度?极简神经网络架构VanillaNet作者亲自解读ChatGPT时代下,产品经理岗位的挑战与机遇ChatGPT带火AI芯片,赚翻了的英伟达发布新核弹:ChatGPT专用GPU,让推理提速10倍!工业AI也将迎来「ChatGPT时刻」民间故事:偷阴术大型语言模型技术公开课上线4讲!直播讲解ChatGPT开源平替、类GPT4低成本定制以及GPT4ToolsChatGPT时代,学习就不用死记硬背了吗?太清闲了,学人做卡通玩ChatGPT时代,职场人该如何生存?生命科学迎“ChatGPT时刻”!AIGP平台三大功能加速蛋白质生成,6月起向专业公众开放AMD带领GPU进入Chiplet时代,RDNA 3架构深入解读李嫣不再隐瞒,说出王菲李亚鹏分手真相!怪不得谢霆锋不肯娶王菲小学成绩极具欺骗性,哪些孩子容易掉队?别猜啦,我请来北京四中校长亲自解读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。