马斯克官宣 Grok-1.5！超 GPT-4 16 倍上下文，推理能力超 DBRX，网友：赢在敢说！

当地时间 3 月 28 日，马斯克发布了 Grok-1.5，这是一个具有前所未有的长上下文支持和高级推理能力的新型人工智能模型。Grok-1.5，作为该系列的最新版本，预计将在未来几天向早期测试者和 X 平台的现有用户开放。借助于两周前公开的 Grok-1 模型权重和网络架构，该团队展现了至去年 11 月为止的技术成就，并自那以后在推理及问题解决方面取得了显著进展。

Grok-1.5 最显著的改进之一，就是更强大的编码与数学相关任务性能。在团队的实验中，Grok-1.5 在 MATH 基准测试上取得了 50.6% 的得分，在 GSM8k 基准测试上取得了 90% 得分——这两项数学基准测试涵盖从小学到高中的各类竞赛问题。此外，Grok-1.5 在评估代码生成与问题解决能力的 HumanEval 基准测试中得分为 74.1%。

Grok-1.5 中的另一项新功能，就是在上下文窗口中处理多达 128K 个 tokens。这使得 Grok 的记忆容量增加至前代上下文长度的 16 倍，因此能够消化大部头文档中的信息。

此外，Grok-1.5 模型还可处理更长、更复杂的提示词，在上下文窗口扩展的同时保持其指令跟踪能力。在 Needle In A Haystack (NIAH) 评估中，Grok-1.5 展示出强大的检索能力，可以在多达 128K tokens 的长上下文中嵌入文本，实现完美的检索结果，仅从从文本长度来看，Grok-1.5 可真的跨越极其之大，是 GPT-4 的 16 倍。

那么这么强的模型是如何训练的呢？一起来看看 Grok-1.5 的基础设施。

在大规模 GPU 集群上运行领先大语言模型（LLM），自然离不开强大而灵活的基础设施。Grok-1.5 以基于 JAX、Rust 和 Kubernetes 的自定义分布式训练框架为基础，这套训练堆栈使 Grok 团队能够以最小的投入建立起设计原型，并大规模训练新型架构。

在大型计算集群上训练大模型的核心挑战，在于如何最大限度提高训练作业的可靠性与正常运行时间。Grok 团队自定义训练的协调器能够自动检测到有问题的节点，并将其从训练作业中剔除。团队还优化了检查点、数据加载与训练作业重新启动等机制，尽一切可能减少由故障引发的意外停机。

目前，Grok 团队并未表示 Grok-1.5 是否开源，但从马斯克在与 OpenAI 的官司中推测，Grok-1.5 大概率是要开源的，否则有“知行不一”嫌疑。

当前的开源大模型市场竞争也是非常激烈的，Meta、Mistral 等已经处于前沿，但市场变化也非常快。当地时间 3 月 27 日，美国的 AI 创业公司 Databricks 以“黑马”之姿宣布，其 Mosaic Research 团队开发的全新通用大模型 DBRX 将被开源。这一消息由 DBRX 项目的首席神经网络架构师 Jonathan Frankle 在确认测试成果后宣布，他自信地告诉团队：“我们已经超越了市场上所有现有的模型。”一些测试成绩如下图所示：

DBRX 在多项关键测试中的表现亮眼。在语言理解的 MMLU 测试中，DBRX 取得了 73.7% 的得分；而在代码生成能力的 HumanEval 测试中，得分为 70.1%。

此外，DBRX 在数学问题解决能力上的表现也十分出色，在 GSM8k 测试中获得了 66.9% 的成绩，这些结果表明 DBRX 在编程方面的能力甚至超过了专业模型如 CodeLlaMa-70B。

但是，也仅仅就是一天之后， Grok 1.5 宣告发布，想较于“最强”开源大模型 DBRX，Grok 1.5 表现更为亮眼。假使大家测试都不作弊， Grok 在 MMLU 测试中以 81.5% 的得分领先，HumanEval 测试中以 74.1% 的得分胜出，并在 GSM8k 测试中以 90% 的惊人得分远超 DBRX 的 66.9%。另外在长文本上，Grok 1.5 上下文窗口中处理多达 128K 个 tokens，远超于 DBRX 32K。

当然，这只是测试数据集的表现，不能完全说明实际情况，但是，测试集上表现好肯定也是优势。

对于 Grok-1.5 的突然发布，有网友表示，来自 Grok-1.5 的测试图表给人留下深刻印象。它在信息检索方面，其表现与 Claude-3-Opus 和 GPT-4-Turbo 相媲美。迫不及待想要试一试了。

网友们对 Grok1.5 的热情洋溢在每一条评论中：“太棒了，这真是令人激动的进展！”随着新功能的即将推出，兴奋之情溢于言表。“我们能了解到网页界面发布的时间表吗？我在澳大利亚迫不及待地期待它的到来。”“请不要忘了智利！即使是 Grok 的 1.0 版本，对西班牙语的支持也已经相当出色了！”

也有网友认为，马斯克除非拥有 10 倍的优势，否则也难以在开源大模型的竞争中取胜。