扎克伯格宣战AGI：Llama 3训练中，今年要囤35万块H100，砸近百亿美元

2024-01-19 03:01

机器之心报道

机器之心编辑部

「事情越来越明确了，各大科技公司的下一代服务会构建在通用 AI 之上。」

为了通用人工智能（AGI）的宏大目标，扎克伯格正在给 Meta 的 AI 研究部门进行大幅度的改组。

本周四，Meta 首席执行官马克・扎克伯格宣布，他的公司正在致力于为人工智能助手构建「通用智能」并「负责任地开源」，Meta 正在将其两个主要研究小组（FAIR 和 GenAI）合并在一起以实现这一目标。

为此，Meta 将准备屯集业内最为强大的 AI 算力。扎克伯格表示，公司将购买超过 35 万块英伟达 H100 GPU—— 这是目前业界构建生成式 AI 性能最强大的芯片。

有第三方投资机构的研究估算，英伟达面向 Meta 的 H100 出货量在 2023 年能达到 15 万块，这个数字与向微软的出货量持平，并且至少是其他公司的三倍。扎克伯格表示，如果算上英伟达 A100 和其他人工智能芯片，到 2024 年底，Meta 的 GPU 算力将达到等效近 60 万 H100。

H100 虽然性能强大，但价格也极其高昂。每块 GPU 的成本约为 2.5 万美元（根据英伟达早期的商品名册显示，16 块 H100 GPU 组成的系统成本约为 40 万美元）到 3 万美元。如果按照这个数字来计算的话，Meta 追求通用人工智能光在 GPU 上的花费可能是 87.5 亿美元到 105 亿美元。

看起来，Meta 正在进行一次创业风投式的大额投资。

今年底获得等效 60 万 H100 算力，那么现在正在训练 Llama3 的 Meta 已经拥有了多少算力？人们纷纷进行了猜测。

不过另一方面，也有人表示了质疑：英伟达真的能在 2024 年底生产这么多芯片吗？

AGI 要循序渐进

Llama 3 加强代码能力

随后，在面向 The Verge 的访谈中，扎克伯格透露了更多的想法。

「我们认为，为了打造计划中的产品，我们需要打造通用智能，」扎克伯格表示。「向人们传达这一点非常重要，因为许多最优秀的研究人员都希望致力于更远大的目标。」

在生成式 AI 时代，人工智能人才的争夺已变得前所未有的激烈，每家科技公司都在争夺数量有限的研究人员和工程师。拥有专业知识的人才可以获得每年超过 100 万美元的高额薪酬。即使像扎克伯格这样的巨头 CEO 也经常需要亲自试图赢得一些关键员工的支持，或者阻止一名研究人员叛逃到竞争对手那里。

「我们已经习惯了相当激烈的人才争夺战，」扎克伯格表示。「但事情的变化很快，有很多家公司都在追求相同的愿景，许多风投和资金正在投向不同的项目，这使得人们很容易开展新的创业。」

但对于 AGI，扎克伯格像其他领域内人士一样，都没有明确的定义，也不知道它何时到来。

他表示，「你可以质疑通用智能是否可以达到人类水平的智能，或者超越人类智能，再或者成为某些遥远未来的超级智能。但对我来说，重要的部分实际上是智能所能达到的广度，即拥有不同的能力，比如必须能够推理并拥有直觉。」

因此，在扎克伯格看来，AGI 的到来是一个循序渐进的过程，而不会在某一瞬间出现。

正如扎克伯格解释的那样，Meta 对 AGI 新的、更广泛的关注受到了自家 Llama 2 大模型的影响。Meta 认为 Llama 2 生成代码的能力对于人们在 Meta 应用程序中使用大模型没有意义，但它仍是构建更聪明 AI 的重要技能之一。不过，Llama 2 的写代码能力比较差。

扎克伯格抛出一个假设：对于大模型，代码能力看起来似乎并不是那么重要，因为不会有很多人在 WhatsApp 上问编码问题。不过事实证明，编码非常重要，它可以让大模型理解知识的严谨性和层次结构，并且通常具有更多直观的逻辑性。

因此，扎克伯格透露，Meta 正在训练的 Llama 3 将具有更强代码生成能力。并且与谷歌的 Gemini 模型一样，Llama 3 还将具有更高级的推理和规划能力。

「虽然 Llama 2 不是行业领先的模型，但却是最好的开源模型。对于 Llama 3 及其之后的模型，我们的目标是打造成为 SOTA，并最终成为行业领先的模型。」

去年 7 月，Llama 2 的推出让大模型领域进入了开源大发展的新阶段，人们对于 Llama 3 非常期待。扎克伯格的一番话引发了研究社区的欢呼。

开源与闭源之争

一直以来，谁能最终控制 AGI 是一个颇受争议的问题。

扎克伯格凭借对公司股票的投票控制权，在 Meta 拥有绝对权力。这使他处于一个独特的强大地位，如果 AGI 得以实现，这一地位可能会被危险地放大。他的答案是，Meta 迄今为止为 Llama 所遵循的剧本可以被视为开源，至少对于大多数用例来说。

他没有点名，而是将 Meta 的方法与 OpenAI 的方法进行了对比，后者最初的目的是开源模型，但越来越不透明。「所有这些公司过去都曾是开放的，都曾经发布过他们所有的工作，并且常常谈论将如何开源自己的工作。」

虽然山姆・奥特曼和其他人拥护闭源人工智能开发方法的安全优势，但扎克伯格却看到了精明的商业策略。与此同时，他认为，迄今为止已部署的模型尚未造成灾难性损害。

「在很多情况下，那些一开始就拥有领先优势的大公司也是那些呼吁最多的公司，他们说需要为构建 AI 设置相应的护栏，」扎克伯格表示。「我确信他们中的一些人对安全的担忧是合理的，但主要的目的是符合战略。」

当然，扎克伯格有他自己的动机。他对 AI 开放愿景的最终结果仍然是权力的集中，只是形式不同。Meta 已经拥有比地球上几乎任何公司都多的用户，并且是利润丰厚的社交媒体业务。AI 功能可以说可以让这些的平台更具粘性和更有用。如果 Meta 能够通过公开发布模型来有效规范 AI 的发展，那么它对生态系统的影响力只会越来越大。

还有另一个问题：如果 Meta 上实现了 AGI ，是否开源最终取决于扎克伯格。他还没有准备好做出任何承诺，因为「不想因为自己说过会做某事而被束缚」。

但扎克伯格同时表示：「只要它有意义并且是安全和负责任的事情，那么我认为我们通常会倾向于开源。」

扎克伯格：AI 不是新支点

然而，从「Meta」这个公司名字来看，扎克伯格此时公布关于 AGI 的目标，显得有些尴尬。

距离这家公司改名、宣布押注元宇宙才过去两年时间，VR 仍然是一个小众行业，且前景不算非常明朗。

不过，扎克伯格并不同意「Meta 将 AI 视为又一支点」的说法。