logo
Redian新闻
>公众号
>
小扎官宣Code Llama重量级更新，新增70B版本，但还有能力限制

小扎官宣Code Llama重量级更新，新增70B版本，但还有能力限制

公众号新闻
机器之心报道
编辑：蛋酱、陈萍
功能更强大的 Code Llama 70B 模型来了。

今天，Meta 正式发布 Code Llama 70B，这是 Code Llama 系列有史以来最大、性能最好的型号。


我们正在开源一个全新的改进版 Code Llama，包括一个更大的 70B 参数模型。编写和编辑代码已成为当今人工智能模型最重要的用途之一。事实证明，编写代码的能力对于人工智能模型更严谨、更合理地处理其他领域的信息也非常重要。我为这一进展感到自豪，并期待着将这些进展纳入 Llama 3 和未来的模型中。


Code Llama 70B 提供与之前发布的 Code Llama 型号相同的三个版本：

  • CodeLlama - 70B，基础代码模型；
  • CodeLlama - 70B - Python，专门面向 Python 的 70B；
  • Code Llama - 70B - Instruct 70B，它针对理解自然语言指令进行了微调。

Code Llama 最初是 Meta 在 2023 年 8 月推出的工具，免费用于研究和商业用途。

据 Meta AI 博客文章的介绍，Code Llama 70B 可比其他版本处理更多查询，这意味着开发人员可以在编程时向其提供更多提示，并且可以更加准确。

在 HumanEval 基准测试中，Code Llama 70B 的准确率达到了 53%，优于 GPT-3.5 的 48.1%，进一步接近 OpenAI 论文报告中 GPT-4 的 67%。


Code Llama 基于 Llama 2 构建，可帮助开发人员根据提示创建代码并对人工编写的代码进行调试。发布之初，Meta 表示，Code Llama 的开源协议与 Llama 2 一样，免费用于研究以及商用目的，Code Llama 70B 也是如此。

当时 Code Llama 系列模型有三个版本，参数量分别为 7B、13B 和 34B。并且支持多种编程语言，包括 Python、C++、Java、PHP、Typescript (Javascript)、C# 和 Bash。

Meta 提供的 Code Llama 版本包括：

  • Code Llama，基础代码模型；
  • Code Llama-Python，Python 微调版；
  • Code Llama-Instruct，自然语言指令微调版。

其中，后面两个模型专注于特定的编码语言。现在这个模型大家族又加入了 Code Llama 70B，在代码任务上又提升了一个台阶。


Code Llama 70B 是在 1TB 的代码和代码相关数据上训练而成，托管在代码存储库 Hugging Face 上。

Meta 表示，其较大的型号 34B 和 70B 模型可返回最佳结果并提供更好的编码帮助。

但在开发者的使用体验中，Code Llama 70B 仍然存在明显不足。

比如有人发现，对于生成质数的请求，Code Llama 70B 无法完成：




也有人说，这一限制是为了避免某些不好的用途，比如生成非法质数。非法质数可以被用来表示一些禁止拥有或散布的资料，而依照美国的数位千禧年著作权法，散布这类程式是非法的。


参考链接：https://www.theverge.com/2024/1/29/24055011/meta-llama2-code-generator-generative-ai


相关阅读




© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章
相关阅读
个人感慨之六十 中国人的苦难快消外企社招 | Lagardère拉格代尔，世界三大旅行零售商之一，百年外企，平均月薪17.2k，0经验可投，留学生有优势倒闭，关门，跑路，老赖，骗子，供应商，牛杂碾压前辈！Meta发布“最大、性能最好”的开源Code Llama 70B，但开发者纷纷喊穷：玩不起！“投奔自由”的中共知识份子集体出走的Stability AI 发布全新代码大模型，3B以下性能最优，超越Code Llama和DeepSeek-CoderAmEx Delta SkyMiles Gold 信用卡【2024.2 更新：年费上涨，福利更新，70k 开卡奖励！】TD Bank、小摩认可金融重量级证书，商科留学生0门槛拿证！海问喜迎跨境投资并购与金融监管领域重量级合伙人刘坚中律师加入美国2024房市变化？Zillow点出6趋势，“更多人有能力买房”年终特稿丨致敬2023年离开我们的21位重量级时尚人物保守党的支持率创新低，2名重量级官员宣布辞职，Sunak感到绝望｜伦敦最具持久吸引力的购房地段揭晓[家居] 开箱一个可能是全网首发的重量级产品--RITTAL配电箱加码$100亿大翻新！每个纽约人都知道的重量级地标，说变就变！马斯克称每年要投资数十亿美元在AI硬件上；Meta发布开源大模型Code Llama 70B丨AIGC日报Stability AI发布全新代码模型Stable Code 3B！媲美70亿Code Llama，没GPU也能跑AI早知道｜OpenAI进入胡润世界500强；阿里巴巴多模态模型升级更新米哈游的一次版本更新，带火了这个“倒立吃面条”的B站主播。国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此CFI金融财务重量级证书！TD Bank、小摩官方认可，商科留学生0门槛拿证Linux 发行版 Nobara 更新 39 版本，号称“专为游戏玩家定制的 Fedora 系统”碾压前辈！Meta 发布“最大、性能最好”的开源 Code Llama 70B，但开发者纷纷喊穷：玩不起洛杉矶｜新年尝新，新西兰空运樱桃/良品铺子礼盒火爆上新，还有牛腱心柿饼全网最低可囤FSD v12.3好评不断；马斯克：v12.4能力将再度大幅提升，算力限制已大幅改善微软Copilot史诗级更新！GPT-4 Turbo免费用，必应深度搜索30秒精准解答讯飞医疗递交IPO申请；Meta发开源大模型Code Llama 70B；马化腾称两年内不会有纯原生AI大应用丨AIGC大事日报重磅更新！谷歌Chrome加持AI，重量级功能×3，Windows、Mac均可用新开源之王来了！1320亿参数，逻辑数理全面打赢Grok，还比Llama2-70B快1倍蔚来今天的史诗级更新，不过是李斌 3 年前挖的「坑」轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了Code Llama 70B霸榜3连发，练习5个月击败GPT-4！小扎LeCun亲自官宣上新个人感慨之五十九 政治抗疫重磅！Google官方出具数据分析重量级证书，留学生0门槛7天拿证！个人感慨之五十八 三年前与三年后2024房市变化？Zillow点出6趋势，更多人有能力买房
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。