Stability AI进军编程领域,发布首个用于代码生成的大语言模型公众号新闻2023-08-10 12:08出品 | OSC开源社区(ID:oschina2013)Stability AI 近日宣布了他们首个用于编程的生成式 LLM AI 产品 ——StableCode。该产品旨在帮助程序员完成日常工作,并为新手开发者提供实用的学习工具。官方介绍道,StableCode 提供了一种独特的方式,通过使用三种不同的模型来帮助开发者编写代码,从而提示开发效率。基础模型 (base model) 首先使用来自 BigCode stack-dataset (v1.2) 的多种编程语言进行训练,然后使用 Python、Go、Java、Javascript、C、markdown 和 C++ 等流行语言进行进一步训练。总的来说,他们在 HPC 集群上使用 560B token 的代码训练了模型。建立好基础模型后,Stability AI 针对特定用例调整指令模型 (instruction model),以帮助解决复杂的编程任务。为了实现这一结果,他们在基础模型上训练了约 120,000 个 Alpaca 格式的代码指令 / 响应对 (instruction/response)。使用 StableCode Instruct 生成对给定指令的响应的代码对于那些想要了解更多编码知识的开发者来说,StableCode 是理想的构建块,而长上下文窗口模型 (long-context window model) 是确保用户可以使用单行和多行自动完成建议的完美助手。该模型旨在一次处理更多代码(比之前发布的具有 16,000 个 token 的上下文窗口的开放模型多 2-4 倍),允许用户同时查看或编辑相当于最多 5 个平均大小的 Python 文件。使其成为初学者想要迎接更大挑战的理想学习工具。StableCode 利用 Pytorch 深度学习库完成一个相对复杂的 python 文件(灰色文本为 StableCode 的预测)最后看看关于 StableCode 的评测数据:END批评红帽背后的利益群体是谁?这里有最新开源资讯、软件更新、技术干货等内容点这里 ↓↓↓ 记得 关注✔ 标星⭐ 哦微信扫码关注该文公众号作者戳这里提交新闻线索和高质量文章给我们。来源: qq点击查看作者最近其他文章