OpenAI新模型研发遇挫，稀疏性是大模型降本的钥匙吗？

公众号新闻

2023-10-19 05:10

选自theinformation

机器之心编译

编辑：小舟

OpenAI 也有失败的模型。

大模型的训练与运行成本极其高昂，OpenAI 也尝试过降低成本，只可惜失败了。

去年年底，当 ChatGPT 引起全球轰动时，OpenAI 的工程师开始研究一种新的人工智能模型，代号为 Arrakis。Arrakis 旨在让 OpenAI 能够以更低的成本运行聊天机器人。

但据知情人士透露：2023 年年中，OpenAI 已经取消了 Arrakis 的发布，因为该模型的运行效率没有公司预期的那么高。

这次失败意味着 OpenAI 失去了宝贵的时间，并需要将资源转移到开发不同的模型上。

对合作投资来说，Arrakis 的研发计划对于两家公司完成 100 亿美元投资和产品交易的谈判非常有价值。据一位知情的微软员工透露，Arrakis 的失败让微软的一些高管感到失望。

更重要的是，Arrakis 的失败预示着人工智能的未来发展可能会充满难以预测的陷阱。

Arrakis 是个什么样的模型？

知情人士称，OpenAI 希望 Arrakis 是一个与 GPT-4 性能相当，且运行效率更高的模型。Arrakis 模型用到的关键方法是利用稀疏性。

稀疏性是谷歌等其他人工智能开发商也公开讨论并使用的机器学习概念。谷歌高管 Jeff Dean 曾表示：「稀疏计算将成为未来的一个重要趋势。」

OpenAI 很早就开始了关于稀疏性的研究，早在 2017 年他们就推出了稀疏计算内核。Arrakis 本来可以让 OpenAI 更广泛地推广其技术，因为该公司可以使用数量有限的专用服务器芯片来为其软件提供支持。

当前，增加稀疏性的一种常见方法是借助「混合专家系统（MoE）」技术。然而，加州大学伯克利分校计算机科学教授 Ion Stoica 曾表示：「一般来说，专家模型的数量越多，模型就越稀疏，效率也越高，但可能会导致模型生成的结果不太准确。」

大约在今年春天，OpenAI 的研究人员开始训练 Arrakis 模型，其中涉及使用先进的计算硬件来帮助模型处理大量数据。知情人士称，该公司预计训练 Arrakis 比训练 GPT-4 要便宜得多。然而，研究团队很快就意识到该模型的表现不够好，无法获得预期的增益。研究团队花了大约一个月的时间试图解决问题后，OpenAI 的高层领导决定停止训练该模型。

值得欣慰的是，OpenAI 可以将其在 Arrakis 上的工作整合到其他模型中，例如即将推出的多模态大模型 Gobi。

两位知情人士表示，Arrakis 的表现之所以低于 OpenAI 的预期，是因为该公司试图提高模型的稀疏性，这意味着将只使用模型的一部分来生成响应，从而降低运行成本。该模型在早期测试中有效但后来表现不佳的原因尚不清楚。

值得一提的是，有知情人士称 OpenAI 曾为 Arrakis 考虑的公开名称是 GPT-4 Turbo。

降低成本有多重要？

对于 OpenAI 来说，随着人们对技术成本的担忧日益增加以及开源替代方案的激增，使其模型更便宜、更高效是首要任务。

据知情人士称，微软使用 OpenAI 的 GPT 模型为 Office 365 应用程序和其他服务中的人工智能功能提供支持，并且微软原本预计 Arrakis 能够提高这些功能的性能并降低成本。

与此同时，微软开始研发自己的 LLM，并且其 LLM 的运行成本可能比 OpenAI 的模型更低。

尽管这场挫折并没有减缓 OpenAI 今年的业务发展，但随着 LLM 领域的竞争日益加剧，特别是谷歌、微软等科技巨头的加速研发，OpenAI 也有可能在这条赛道上式微。

原文链接：https://www.theinformation.com/articles/openai-dropped-work-on-new-arrakis-ai-model-in-rare-setback

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章