logo
Redian新闻
>公众号
>
开源11天，马斯克再发Grok-1.5！128K代码击败GPT-4

开源11天，马斯克再发Grok-1.5！128K代码击败GPT-4

公众号新闻


  新智元报道  

编辑：桃子 好困
【新智元导读】马斯克「搞笑」模型刚刚升级到Grok-1.5，推理性能暴涨，支持128k长上下文。最重要的是，Grok-1.5的数学和代码能力大幅提升。

Grok-1官宣开源不过半月，新升级的Grok-1.5出炉了。
刚刚，马斯克xAI官宣，128K上下文Grok-1.5，推理能力大幅提升。
并且，很快就会上线。
11天前，Grok-1模型的权重和架构开源，展示了Xai在去年11月之前取得的进展。
Grok-1有3140亿参数，是Llama 2的4倍大，而且采用的是MoE架构，8个专家中2个是活跃专家。
Xai介绍，也就是从那时起，团队改进了最新模型Grok-1.5的推理和解决问题的能力。
OpenAI前开发者关系负责人表示，从xAI重大发布的时间可以看出他们前进的步伐和紧迫感。令人振奋！

128K上下文，Grok-1.5数学推理能力暴涨

根据官方介绍，Grok-1.5改进了推理能力，上下文长度为128K。
Grok-1.5最显著的改进之一是，它在编码和数学相关任务中的表现。
在测试中，Grok-1.5在数学基准上取得50.6%的得分，在GSM8K基准上获得了90%，这两个数学基准涵盖了从小学到高中的各种竞赛问题。
此外，在评估代码生成和解决问题能力的HumanEval基准测试中，Grok-1.5获得了74.1%的高分。
从下图中，与Grok-1相比，可以看出Grok-1.5在数学方面的能力得到大幅提升，GSM8K上从62.9%改进到90，MATH上从23.9%提升到50.6%。
128K长语境理解，扩增16倍
Grok-1.5另一全新特点是，能够在其上下文窗口内处理高达128K token的文本。
这使Grok的内存容量，增加到以前上下文长度的16倍，从而使它能够利用更长的文档中的信息。
此外，新模型还可以处理更长和更复杂的提示，同时在其上下文窗口扩展时仍保持其指令跟随能力。
在Needle In A Haystack（NIAH）评估中，Grok-1.5 展示了强大的检索能力，可检索长度达 128K 字节的上下文中的嵌入文本，并取得了完美的检索结果。
Grok-1.5基础设施
Grok-1.5构建在基于JAX、Rust和Kubernetes的定制分布式训练框架之上。
这个训练堆栈可以让xAI团队能够以最少的投入，大规模构建创意，以及训练新的架构。
在大型计算群集上进行训练LLM的一个主要挑战是，最大限度地提高训练任务的可靠性和正常运行时间。
xAI定制的训练编排器，可确保自动检测有问题的节点，并将其从训练任务剔除。
与此同时，他们还优化了检查点、数据加载和训练任务的重启，以最大限度地减少发生故障时的停机时间。
xAI表示，Grok-1.5将很快提供给早期测试者，以帮助改进模型。
博客还预告了Grok-1.5将在未来几天里推出几个新功能。
最后，xAI还是一如既往地po出了招募信息。
参考资料：
https://x.ai/blog/grok-1.5



微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章
相关阅读
Code Llama 70B霸榜3连发，练习5个月击败GPT-4！小扎LeCun亲自官宣上新一幅我画的素描特斯拉大裁员，马斯克再次进入地狱模式开源日报 | 微软AI程序员登场，马斯克开源Grok；Open-Sora全面开源许家印组织造假被罚4700万；马斯克开源大模型Grok-1；侯毅正式卸任盒马CEO；英伟达推出最强AI芯片...马斯克官宣 Grok-1.5！超 GPT-4 16 倍上下文，推理能力超 DBRX，网友：赢在敢说！先生的头像马斯克宣布正式开源大语言模型Grok；人体避免多个精子使一个卵子受精的机制揭示 | 环球科学要闻马斯克发全球最大开源模型！3140亿参数的Grok真打脸OpenAI了？开源日报 | Grok使用体验完全够不上第一梯队；C++之父反驳白宫观点；Surface Duo在开源社区扶持下焕发新生OpenAI有望在今年夏季推出GPT-5；英伟达推出更强GPU芯片；马斯克宣布正式开源Grok-1｜AIGC周观察第三十七期马斯克大模型Grok1.5来了：推理能力大升级，支持128k上下文马斯克如约开源 Grok，10 小时狂揽10000颗StarP70系列有3或4款新品；国内首个开源千亿参数MoE大模型来了，对标马斯克的Grok……马斯克官宣Grok-1.5！超GPT-4 16倍上下文，推理能力超DBRX，网友：赢在敢说！马斯克突发Grok 1.5！上下文长度至128k、HumanEval得分超GPT-4击败GPT-4的那群人AI早知道｜马斯克Grok大模型开源；荣耀正式发布首款AI PC；苹果谷歌和OpenAI商谈iPhone大模型使用马斯克发布Grok 1.5！ 编码和数学能力大幅提升开源模型打败GPT-4！LLM竞技场最新战报，Cohere Command R+上线看“单亲妈”系列有感，家有儿女的必读马斯克打脸OpenAI，全球最大巨无霸模型Grok-1开源！3140亿参数8个MoE，GitHub狂揽6k星相请不如偶遇说到做到，马斯克开源Grok，3140亿参数免费可商用刚刚，马斯克突然发布 Grok 1.5 大模型，但除了这点都不如 GPT-4黄仁勋扔出的算力核弹​是堆叠吗？马斯克开源的大模型Grok才是全球最大吗？GPT-4级模型Grok开源可商用！卷底层大模型的公司危了仅需Llama3 1/17的训练成本，Snowflake开源128x3B MoE模型7033 血壮山河之枣宜会战 “扑朔迷离”南瓜店 10马斯克开源Grok-1，OpenAI如何应对？|【经纬低调分享】今天，马斯克宣布开源马斯克正式开源 Grok-1，成为全球最大的开源大模型传比亚迪城市 NOA 3 月落地；马斯克再传吸毒谣言；律师：不要戴 Vision Pro 开车，会被抓 | 极客早知道刚刚！马斯克开源 Grok：参数量近 Llama 四倍，成全球最大开源模型AI进化太快了，马斯克开源Grok-1，爆火！
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。