Redian新闻
>
Dolly 2.0发布,首个真正开放、可商用的指令调优LLM

Dolly 2.0发布,首个真正开放、可商用的指令调优LLM

公众号新闻

出品 | OSC开源社区(ID:oschina2013)

Databricks 发布了 Dolly 2.0,这是该公司于两周前发布的一种训练成本不到 30 美元,类似 ChatGPT 的大型语言模型 (LLM) Dolly 的改进版本。公告称,Dolly 2.0 是第一个开源的指令跟随型语言模型,它在人类生成的指令数据集上进行了微调,可用于研究和商业用途。
根据介绍,Dolly 1.0 使用了斯坦福大学 Alpaca 团队使用 OpenAI API 创建的数据集进行训练;该数据集包含 ChatGPT 的输出,而其服务条款试图阻止任何人创建与 OpenAI 竞争的模型。因此,Dolly 1.0 并不能用于商业用途。且据已知信息,目前所有现有的知名指令跟随模型 (Alpaca, Koala, GPT4All, Vicuna) 都受到此限制,禁止商业使用。为了解决这个难题,Databricks 于是决定创建一个没有商业用途限制的新数据集。
Dolly 2.0 是一个基于 EleutherAI pythia 模型系列的 12B 参数语言模型,并在透明且免费提供的数据集上进行了微调;该数据集称为 databricks-dolly-15k,也已开源发布。Databricks 表示,他们正在开源整个 Dolly 2.0,包括训练代码、数据集和模型权重,所有这些都适合商业使用。这意味着任何组织都可以创建、拥有和定制强大的 LLM,这些 LLM 可以与人们交谈,而无需支付 API 访问费用或与第三方共享数据。
databricks-dolly-15k 包含来自数千名 Databricks 员工的 15,000 个高质量的人工生成的提示 / 响应对,专为指令调优大型语言模型而设计。且 databricks-dolly-15k 根据(Creative Commons Attribution-ShareAlike 3.0 Unported License)的许可条款,任何人都可以出于任何目的使用、修改或扩展此数据集,包括商业应用程序。
Databricks 称这是 “第一个开源的、人工生成的指令语料库,专门设计用于让大型语言能够展示 ChatGPT 的神奇交互性”。并补充到,虽然 databricks-dolly-15k 比训练 Dolly 1.0 的数据集 Alpaca 小得多,但基于 EleutherAI 的 pythia-12b 生成的 Dolly 2.0 模型表现出高质量的指令遵循行为。另一方面, databricks-dolly-15k 是由专业人士生成的、质量很高,并且包含对大多数任务的长篇答案。
Databricks 表示,他们并没有期望 Dolly 在有效性方面达到最先进水平。但确实希望 Dolly 和开源数据集将成为大量后续工作的种子,“这可能有助于引导出更强大的语言模型”。
“我们还认为,偏见、问责制和人工智能安全等重要问题应该由不同利益相关者组成的广泛社区来解决,而不仅仅是少数大公司。开源数据集和模型鼓励评论、研究和创新,这将有助于确保每个人都能从人工智能技术的进步中受益。”
要下载 Dolly 2.0 模型权重,只需访问 Databricks Hugging Face 页面(https://huggingface.co/databricks),并访问  Dolly repo on databricks-labs(https://github.com/databrickslabs/dolly/tree/master/data,下载 databricks-dolly-15k 数据集。
更多详情和示例可查看官方博客:https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm


END



微软开发快速「结束进程」功能

🌟 活动推荐


2023 年 5 月 27-28 日,GOTC 2023 全球开源技术峰会将在上海张江科学会堂隆重举行。

为期 2 天的开源行业盛会,将以行业展览、主题发言、特别论坛、分论坛、快闪演讲的形式来诠释此次大会主题 ——“Open Source, Into the Future”。与会者将一起探讨元宇宙、3D 与游戏、eBPF、Web3.0、区块链等热门技术主题,以及 OSPO、汽车软件、AIGC、开源教育培训、云原生、信创等热门话题,探讨开源未来,助力开源发展。

长按识别下方二维码立即查看 GOTC 2023 详情/报名。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
推出“安个家”品牌,安居客以开放、合作、赋能态度打造房产经纪未来模式训练时间减少71.4%,存储成本节省99.9%,厦大指令调优新方案MMA让羊驼模型实现多模态微软深夜放炸弹!GPT-4 Office全家桶发布,直接输入指令可以做表格数据整理LLM底座模型:LLaMA、Palm、GLM、BLOOM、GPT结构对比当我决定,真正开始爱自己电动飞机「绿」了航空业,一个真敢造,一个真敢投万能通用的Java调优方案合集,yyds!怎样才能写出好文章?【哈佛中国论坛】15+主题论坛开放、简历投递专区深度 | 这件事,才是美元霸权开始坍塌的真正开始两大可商用开源大模型同时发布!性能不输LLaMA,羊驼家族名字都不够用了首个中文医学知识LLM:真正的赛华佗—华驼(HuaTuo)东晋王导草书欣赏科学与艺术并进!走进加拿大私校之玛丽大学圣名学校 Holy Name of Mary College School三行代码调用PandaLM大模型自动实现保护隐私、可靠、可复现的大模型评估可复现、自动化、低成本、高评估水平,首个自动化评估大模型的大模型PandaLM来了Alpaca-CoT项目原作解读:多接口统一的轻量级LLM指令微调平台Belmont公私校大对比:Belmont Hill vs Belmont High聊一个今年真正开始普及的重要配置从春晚到《漫长的季节》,他演了无数可怜、可悲、可敬、可叹的小人物Meta最新语言模型LLaMA论文研读:小参数+大数据的开放、高效基础语言模型阅读笔记ACC 中国之声丨首次人体试验发布,脉冲场消融术治疗希氏束旁阵发性室上速安全、可行金海湾渔港粤式饮早茶学会讨厌妈妈后,我才真正开始爱她离开校园多年后,我才真正开始学习古巴印像 (6) 偶像崇拜三行代码调用大模型裁判PandaLM:保护隐私、可靠、可复现ChatGPT背后的指令学习是什么?PSU发布首篇「指令学习」全面综述2023年全球制药TOP50发布,4家中国药企入选丁薛祥最新演讲,关于对外开放、双循环、世界经济复苏世界首款真开源类ChatGPT大模型Dolly 2.0,可随意修改商用280万条多模态指令-响应对,八种语言通用,首个涵盖视频内容的指令数据集MIMIC-IT来了可商用多语言聊天LLM开源,性能直逼GPT-4免费可商用开源GPT模型问世,50G权重直接下载,性能不输GPT-3Chatgpt小感悟
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。