速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型

2024-05-30 05:05

机器之心报道

编辑：杜伟、陈萍

开放但禁止商用用途。

对标 OpenAI 的法国 AI 独角兽 Mistral AI 有了新动作：首个代码大模型 Codestral 诞生了。

作为一个专为代码生成任务设计的开放式生成 AI 模型，Codestral 通过共享指令和补全 API 端点帮助开发人员编写并与代码交互。Codestral 精通代码和英语，因而可为软件开发人员设计高级 AI 应用。

Codestral 的参数规模为 22B，遵循新的 Mistral AI Non-Production License，可以用于研究和测试目的，但禁止商用。

目前，该模型可以在 HuggingFace 上下载。

Mistral AI 联合创始人、首席科学家 Guillaume Lample 表示，Codestral 可以很轻松集成到 VS Code 插件中。

有用户将 Codestral 与 GPT-4o 进行了比较，Codestral 速度直接秒了 GPT-4o。

精通 80 + 编程语言

Codestral 在包含了 80 + 种编程语言的多样化数据集上训练，包括 Python、Java、C、C++、JavaScript、Bash 等流行编程语言。此外也在 Swift 和 Fortran 等编程语言上表现良好。

因此，广泛的语言基础确保 Codestral 可以在各种编码环境和项目中为开发人员提供帮助。

Codestral 可以胜任编写代码、编写测试并使用中间填充（fill-in-the-middle）机制补全任何代码部分，为开发人员节省时间和精力。同时使用 Codestral，还有助于提高开发人员的编码水平，降低错误和 bug 风险。

代码生成性能新标准

作为一个 22B 参数的模型，Codestral 与以往的代码大模型相比，在代码生成性能和延迟空间方面树立了新标准。

从下图 1 可以看到，Codestral 的上下文窗口长度为 32k，竞品 CodeLlama 70B 为 4k、DeepSeek Coder 33B 为 16k、Llama 3 70B 为 8k。结果显示，在代码生成远程评估基准 RepoBench 上，Codestral 的表现优于其他模型。

Mistral AI 还将 Codestral 与现有的特定于代码的模型进行了比较，后者需要较高的硬件需求。

在 Python 上的表现。研究者使用 HumanEval pass@1、MBPP sanitised pass@1 基准来评估 Codestral 的 Python 代码生成能力；除此以外，研究者还用到了 CruxEval、RepoBench EM 基准评估。

在 SQL 上的表现。为了评估 Codestral 在 SQL 中的性能，研究者使用了 Spider 基准测试。

在其他编程语言上的表现。研究者还在其他六种编程语言（包括 C++、bash、Java、PHP、Typescript 和 C#）中对 Codestral 进行了评估，并计算了这些评估的平均值。

FIM 基准。研究者还评估了 Codestral 在代码片段中间有缺失的情况下补全代码的能力，主要是在 Python、JavaScript 和 Java 上进行实验，结果显示，Codestral 补全的代码，用户可以立即运行。

博客地址：https://mistral.ai/news/codestral/

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq