OpenAI创始人：面临GPU短缺恐慌，GPT-3或将开源!

2023-06-08 16:06

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达
点击进入—>【目标检测和Transformer】交流群

转载自：机器之心

眼下 OpenAI 面临的最大问题是「缺芯」。

从 ChatGPT 问世以来，大模型和 AI 技术就引起全世界的广泛关注。一方面，人们惊叹于大模型的涌现能力，另一方面又对人工智能的可控性及未来发展产生担忧。今年已有包括图灵奖得主 Geoffrey Hinton、Yoshua Bengio 在内的 AI 领域专家等众多业内人士多次联合警告 AI 大模型将引发一系列风险，甚至有人呼吁叫停 GPT-4 后续 AI 大模型的研发。

OpenAI 作为 ChatGPT、GPT-4 等大模型背后的公司，无疑被推上了风口浪尖。OpenAI 的 CEO Sam Altman 近期正在全球巡回演讲，旨在消除人们对人工智能的「恐惧」，并听取 OpenAI 产品的开发人员和用户的意见。

据《Fortune》报道，5 月 Sam Altman 与一些开发人员和初创公司创始人闭门会面，并讲述了 OpenAI 的路线图和面临的挑战。这场闭门会的参与者之一 ——Humanloop 的联合创始人兼 CEO Raza Habib 最近在一篇博客中提及了 OpenAI 的产品规划和发展瓶颈。

原博客现已删除，但有网友上传了博客快照（副本），我们来看一下博客的具体内容：

OpenAI 现在面临的最大问题是受限于 GPU

目前 OpenAI 面临非常严峻的 GPU 限制，这也延迟了他们一些短期计划的实施。近来，客户投诉最多的是关于 API 的可靠性和速度问题。Sam 承认了这个问题，并解释说客户抱怨的大部分问题是由于 GPU 短缺造成的。

在处理文本方面，更长的 32k 上下文还不能面向更多人推出。现在 OpenAI 还没有完全克服注意力机制的 O (n^2) 扩展问题，虽然 OpenAI 似乎很快就能实现 100k-1M token 上下文窗口（在今年内）文本处理，但更大的文本处理窗口需要进一步的研究突破。

不仅如此，目前，微调 API 也受到 GPU 供应的限制。OpenAI 尚未使用像 Adapters 或 LoRa 这样的高效微调方法，因此微调运行和管理起来计算都非常密集。Sam 透漏更好的微调技术将在未来推出，他们甚至可能提供一个社区专门研究模型。

此外，专用容量提供也受到 GPU 供应的限制。OpenAI 还提供专用容量，为客户提供一个私有的模型副本。要使用此服务，客户必须愿意预先承诺支出 10 万美元。

OpenAI 的近期路线图

在交谈中，Sam 分享了 OpenAI API 的近期路线图，主要分两个阶段：

2023 的路线：

OpenAI 的首要任务是推出更便宜、更快的 GPT-4—— 总的来说，OpenAI 的目标是尽可能地降低智能成本（the cost of intelligence），因此随着时间的推移，API 的成本将会降低。
更长的上下文窗口 —— 在不久的将来，上下文窗口可能高达 100 万个 token。
微调 API—— 微调 API 将扩展到最新的模型，但其确切形式将由开发人员决定。
状态 API—— 现在调用聊天 API 时，你必须反复地通过相同的会话历史，并一次又一次地为相同的 toke 进行支付。将来版本的 API 可以记住会话历史记录。
2024 年路线：
多模态 —— 这是作为 GPT-4 版本的一部分进行演示的，但在更多 GPU 上线之前不能扩展到所有人。

插件没有 PMF，也不会很快出现在 API 中

很多开发人员都对通过 API 访问 ChatGPT 插件感兴趣，但 Sam 说他认为这些插件短期内不会发布。除了浏览之外，插件的使用表明他们还没有 PMF。Sam 指出，很多人希望自己的应用程序位于 ChatGPT 之内，但他们真正想要的是应用程序中的 ChatGPT。

除了与类 ChatGPT 竞争外，OpenAI 将避免与其客户竞争

很多开发者表示，当 OpenAI 发布新产品时，他们对使用 OpenAI API 构建的应用程序感到紧张，因为 OpenAI 最终可能会发布与他们竞争的产品。Sam 表示 OpenAI 不会发布 ChatGPT 之外更多的产品。他说有很多伟大的平台公司都有一个杀手级的应用程序，ChatGPT 将允许他们通过成为自己产品的客户来使 API 更好。ChatGPT 的愿景是成为一个超级智能的工作助手，但 OpenAI 不会涉足许多其他 GPT 的用例。

监管是必要的，但开源也是必要的

尽管 Sam 主张对未来的模型进行监管，但他并不认为现有的模型存在危险，并认为对它们进行监管或禁止将是一个巨大的错误。他再次强调了开源的重要性，并表示 OpenAI 正在考虑开源 GPT-3。OpenAI 之所以迟迟未能开源的部分原是因为他们觉得没多少人和公司有能力妥善管理如此大型的语言模型。

扩展定律仍然存在

最近许多文章都声称「巨型人工智能模型的时代已经结束」。Sam 表示这并没有准确地表达他的意思。

OpenAI 的内部数据显示，扩展定律仍然成立，而且增大模型的规模将继续提高性能。然而，模型的规模无法一直按照相同的比例增加，因为在短短几年内，OpenAI 已经使模型规模增大了数百万倍，继续这样做将不可持续。但这并不意味着 OpenAI 将停止努力使模型变得更大，而是意味着它们可能每年增加一倍或三倍的规模，而不是呈几个数量级的增长。

扩展模型仍然有效，这一事实对 AGI 的发展具有重要意义。扩展规模的理念是，我们可能已经有构建 AGI 所需的大部分要素，而剩下的大部分工作将采用现有的方法，并将它们扩展到更大的模型和更大的数据集上。如果模型扩展时代已经结束，我们到达 AGI 的时间将会更久。扩展定律仍然适用的事实暗示着我们会用更短的时间实现 AGI。

参考链接：

https://web.archive.org/web/20230601000258/https://website-nm4keew22-humanloopml.vercel.app/blog/openai-plans

点击进入—>【目标检测和Transformer】交流群

最新CVPR 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立

扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者ransformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群