Redian新闻
>
Stability AI进军编程领域,发布首个用于代码生成的大语言模型

Stability AI进军编程领域,发布首个用于代码生成的大语言模型

公众号新闻
出品 | OSC开源社区(ID:oschina2013)
Stability AI 近日宣布了他们首个用于编程的生成式 LLM AI 产品 ——StableCode。该产品旨在帮助程序员完成日常工作,并为新手开发者提供实用的学习工具。
官方介绍道,StableCode 提供了一种独特的方式,通过使用三种不同的模型来帮助开发者编写代码,从而提示开发效率。
基础模型 (base model) 首先使用来自 BigCode stack-dataset (v1.2) 的多种编程语言进行训练,然后使用 Python、Go、Java、Javascript、C、markdown 和 C++ 等流行语言进行进一步训练。总的来说,他们在 HPC 集群上使用 560B token 的代码训练了模型。
建立好基础模型后,Stability AI 针对特定用例调整指令模型 (instruction model),以帮助解决复杂的编程任务。为了实现这一结果,他们在基础模型上训练了约 120,000 个 Alpaca 格式的代码指令 / 响应对 (instruction/response)。
使用 StableCode Instruct 生成对给定指令的响应的代码
对于那些想要了解更多编码知识的开发者来说,StableCode 是理想的构建块,而长上下文窗口模型 (long-context window model) 是确保用户可以使用单行和多行自动完成建议的完美助手。
该模型旨在一次处理更多代码(比之前发布的具有 16,000 个 token 的上下文窗口的开放模型多 2-4 倍),允许用户同时查看或编辑相当于最多 5 个平均大小的 Python 文件。使其成为初学者想要迎接更大挑战的理想学习工具。
StableCode 利用 Pytorch 深度学习库完成一个相对复杂的 python 文件(灰色文本为 StableCode 的预测)
最后看看关于 StableCode 的评测数据:


END



批评红帽背后的利益群体是谁?



这里有最新开源资讯、软件更新、技术干货等内容

点这里 ↓↓↓ 记得 关注✔ 标星⭐ 哦


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
微软开源TypeChat库,给大语言模型换种提示,一行代码安装​中科大和腾讯发布首篇《多模态大语言模型综述》大模型竞争突然升级!亚马逊 CEO 亲自监督、组建新的核心技术团队,集中优势资源打造“最具野心”的大语言模型长篇小说连载《此世,此生》第五十一章三日本七大知名人文景点与历史ICCV 2023 | 基于预训练视觉语言模型和大语言模型的零样本图像到文本生成最顶尖的大语言模型人才,只关心这10个挑战商汤大模型全面升级!「商量SenseChat 2.0」大语言模型疯狂上分Meta开源Code Llama,号称编程领域 “最先进的大语言模型”PromptBench: 首个大语言模型提示鲁棒性的评测基准学习生成式大语言模型,东北大学自然语言处理实验室有一堂课多编程语言代码生成神器 CodeGeeX,编码效率提升十倍!陈丹琦 ACL'23 Tutorial - 基于检索的大语言模型 学习笔记如何判别大语言模型生成的文本?大型语言模型专场上线!四位AI新青年直播讲解MiniGPT-4、LLaVA、Gorilla以及大型语言模型Token危机由近20亿个可调参数组成,AI制药新锐Deep Genomics设计出首个用于RNA疗法开发的人工智能基础模型LLM in Medical Domain: 一文速览大语言模型在医学领域的应用易圣高岛吞象(2)- 成圣之路娄岩一周诗词三首BLIP-2、InstructBLIP稳居前三!十二大模型,十六份榜单,全面测评「多模态大语言模型」顶尖的大语言模型人才,只关心这10个挑战微软发布 Guidance 语言,用于控制大语言模型微软发布基于LLM的代码生成神器,动动嘴就能写代码!直播预告:基于 NVIDIA NeMo 框架的大语言模型部署实践大语言模型综述全新出炉:51页论文带你盘点LLM领域专业化技术生成式 AI 与大语言模型时代的 NVIDIA GPU 生态 | NVIDIA 解决方案与架构技术总监张瑞华演讲预告你好,我是筚(bì)篥( lì)!谷歌大模型云服务上线,代码生成、PaLM for Chat首次亮相一文速览大语言模型在分子领域中的探索大语言模型真能“理解”语言吗?贾佳亚团队开源全球首个70B长文本大语言模型,读论文看小说直接ProMax懒人观林记大语言模型会偷懒?新研究:上下文太长,模型会略过中间不看 | 本周论文推荐Lululemon 进军健身房外的时尚领域,推出首个休闲男女装系列硬核科普:大语言模型,都是如何生成内容的
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。