Sam Altman对芯片很恐慌，自研RISC-V架构AI芯片

Sam Altman 上个月被解雇 OpenAI 首席执行官后不久就复职，但如果公司在没有他的情况下继续开发ChatGPT，仍然会获益。在 Altman 担任首席执行官期间，OpenAI 签署了一份意向书，斥资 5100 万美元购买一家名为 Rain AI 的初创公司的人工智能芯片，他也亲自投资了该公司。

Rain 的总部距离 OpenAI 旧金山总部不到一英里，正在开发一种名为神经形态处理单元 (NPU) 的芯片，旨在复制人脑的功能。根据《连线》杂志看到的交易副本和 Rain 今年向投资者披露的信息，OpenAI 在 2019 年签署了一项不具约束力的协议，在芯片上市后斥资 5100 万美元购买这些芯片。Rain 告诉投资者，Altman 个人已向该公司投资了超过 100 万美元。此前并未报道过该意向书。

投资者文件称，Rain 最早可能于明年 10 月向客户提供第一批硬件。OpenAI 和 Rain 拒绝置评。

OpenAI 与 Rain 的意向书展示了 Altman 的个人投资网络如何与他作为 OpenAI 首席执行官的职责纠缠在一起。此前，他曾领导初创企业孵化器 Y Combinator，帮助 Altman 成为硅谷最著名的交易撮合者之一，投资了数十家初创企业，并担任企业家与全球最大公司之间的经纪人。但据知情人士透露，他的众多追求分散了他的注意力，并导致他最近因不坦诚的沟通而被 OpenAI 董事会解雇，但据未获授权讨论此事的人士透露。

Rain 交易还凸显了 OpenAI 愿意花费大量资金来确保支持开创性人工智能项目所需的芯片供应。奥特曼公开抱怨人工智能芯片的“残酷紧缩”及其“令人垂涎”的成本。OpenAI 利用其主要投资者微软强大的云，但由于硬件限制，经常关闭对 ChatGPT 功能的访问。根据一篇关于他与开发人员举行的闭门会议的博客文章，奥特曼表示人工智能的进展速度可能取决于新的芯片设计和供应链。

Rain 今年早些时候向潜在投资者宣传了其进展，并预计最快本月即可“流片”测试芯片，这是芯片开发的标准里程碑，指的是准备好制造的设计。但据报道，监管国家安全风险投资的美国政府跨部门机构要求沙特阿拉伯附属基金 Prosperity7 Ventures 出售其在该公司的股份，该初创公司最近也对其领导层和投资者进行了改组。Rain 于 2022 年初宣布，该基金领投了 2500 万美元的融资。

彭博社周四首先报道了该基金的强制撤资，并在《连线》杂志看到的文件中进行了描述，这可能会增加 Rain 将新型芯片技术推向市场的挑战，并有可能推迟 OpenAI 兑现其 5100 万美元预购订单的日期。总部位于硅谷的Grep VC收购了该股份；它和沙特基金没有回应置评请求。

美国对 Prosperity7 与 Rain 交易的担忧也引发了人们对 Altman 为增加全球人工智能芯片供应而做出的另一项努力的质疑。据两位人士透露，近几个月来，他与中东投资者讨论了筹集资金创办一家新芯片公司的事宜，以帮助 OpenAI 和其他公司实现多元化，摆脱目前对 Nvidia GPU 以及谷歌、亚马逊和一些较小供应商的专用芯片的依赖。人们寻求匿名讨论私人会谈。

Rain 成立于 2017 年，声称其受大脑启发的 NPU 将比 GPU 产生潜在的 100 倍的计算能力和10,000 倍的训练能效，GPU 是 OpenAI 等人工智能开发人员的主力图形芯片，这些源自英伟达。

Rain 表示，Altman 在 2018 年领投了一笔种子融资，就在 OpenAI 同意斥资 5100 万美元购买其芯片的前一年。据披露，Rain 目前拥有约 40 名员工，其中包括人工智能算法开发和传统芯片设计方面的专家。

这家初创公司今年似乎悄然更换了首席执行官，现在在其网站上将创始首席执行官戈登·威尔逊(Gordon Wilson)列为执行顾问，前白鞋律师事务所律师威廉·帕索(William Passo)从首席运营官晋升为首席执行官。

威尔逊周四在LinkedIn 帖子中证实了他的退出，但没有提供原因。他写道：“Rain 准备开发一款产品，定义新的人工智能芯片市场，并大规模颠覆现有市场。” “今后我将继续尽我所能帮助Rain。” 超过 400 名 LinkedIn 用户（其中些个人资料显示自己是 Rain 员工）对 Wilson 的帖子发表了评论，或者用心形或竖起大拇指的表情符号做出了反应——帕索并不在其中。威尔逊拒绝对此事发表评论。

根据《连线》杂志看到的 10 月份给投资者的一份报告，该公司将寻找一位行业资深人士来永久取代威尔逊。

Rain的初始芯片基于谷歌、高通和其他科技公司认可的RISC-V开源架构，针对科技行业所谓的边缘设备，这些设备远离数据中心，例如电话、无人机、汽车和机器人。Rain 的目标是提供一款既能训练机器算法，又能在准备好部署后运行它们的芯片。如今，大多数边缘芯片设计（如智能手机中的设计）都侧重于后者，即推理。目前尚不清楚 OpenAI 如何使用 Rain 芯片。

Rain曾一度向投资者声称，该公司已就向谷歌、甲骨文、Meta、微软和亚马逊出售系统进行了高级谈判。微软拒绝置评，其他公司也没有回应置评请求。

截至 2022 年 4 月，由 Prosperity7 牵头的这轮融资使 Rain 的融资总额达到 3300 万美元。根据向投资者披露的信息，这足以维持到 2025 年初的运营，不包括新筹集的现金，该公司的估值为 9000 万美元。文件援引 Altman 的个人投资以及 Rain 与 OpenAI 的意向书作为支持该公司的理由。

在 Rain去年的筹款新闻稿中，Altman 称赞这家初创公司在 2021 年推出了原型，并表示它“可以大大降低创建强大人工智能模型的成本，并希望有一天能够帮助实现真正的通用人工智能。”

Prosperity7 对 Rain 的投资引起了美国外国投资跨部门委员会的兴趣，该委员会有权阻止被视为威胁国家安全的交易。

Fox Rothschild 律师事务所帮助客户进行 CFIUS 审查。“政府不在乎钱，”她说。“它关心外方的访问和控制以及权力。”

Rain从中国搜索引擎百度风险投资部门获得了小额种子投资，显然没有任何问题，但沙特阿拉伯的较大投资引起了重大担忧。Prosperity7 是沙特阿美公司 (Saudi Aramco) 旗下沙特阿美风险投资公司 (Aramco Ventures) 的子公司，它可能会让这家石油巨头和中东其他大公司成为客户，但也能让 Rain 与沙特政府保持密切联系。

CFIUS 发言人梅根·阿珀 (Megan Apper) 表示，该小组“致力于在其职权范围内采取一切必要行动，以维护美国国家安全”，但“根据法律和惯例，CFIUS 不会对其可能或可能不公开的交易发表评论”正在审查。”

CFIUS 披露的数据显示，它每年审查数百笔交易，在少数有疑虑的交易中，通常会采取保障措施，例如禁止外国投资者担任董事会席位。目前尚不清楚该委员会为何要求 Rain 完全撤资。

三名经常处理敏感交易的律师表示，他们不记得之前有任何被美国外国投资委员会完全阻止的沙特阿拉伯交易。Foley Hoag 律师事务所国际贸易和国家安全业务联席主席卢西亚诺·拉科 (Luciano Racco) 表示：“过去 20 年来，撤资本身相当罕见，而且很大程度上是为相关国投资者保留的补救措施。”

如果 OpenAI 想要获得对其硬件需求的一定控制权，它可能需要寻找财力雄厚的支持者的合作伙伴。竞争对手亚马逊和谷歌花了数年时间为人工智能项目开发自己的定制芯片，并可以利用利润丰厚的核心业务的收入为其提供资金。Altman拒绝排除OpenAI 生产自己的芯片的可能性，但这也需要大量资金。

运行人工智能软件所需的专用计算机芯片的短缺阻碍了 OpenAI 的业务，该公司无意发布除 ChatGPT 之外的面向消费者的产品。据一位参与者撰写的博客文章称，这些只是两周前在伦敦举行的一次私人会议上 OpenAI 联合创始人兼首席执行官 Sam Altman 向一群软件开发人员和初创公司首席执行官披露的其中两项内容。

根据最初出现的页面上附加的注释，据报道约有 20 人参加了这次闭门会议的账户，后来应 OpenAI 的要求删除了该账户，但这并没有阻止人工智能社区仔细研究该会议的内容。有影响力的首席执行官（据称）的评论。

一个互联网存档网站已经保存了原始博客文章的副本，此后它在社交媒体和几个面向编码员的讨论板上流传。根据 Raza Habib 撰写的博客文章，Altman 表示，OpenAI 无法访问足够的图形处理单元（GPU）（用于运行人工智能应用程序的专用计算机芯片），正在推迟 OpenAI 的短期计划，并给使用 OpenAI 服务的开发人员带来问题。人工智能专家， Humanloop联合创始人兼首席执行官。Habib 位于伦敦的初创公司开创了提高大型语言模型（例如支持 OpenAI 的 ChatGPT 的模型）训练效率的方法。

GPU 的短缺使得 OpenAI 更难让用户通过支持其软件的大型语言模型（例如 ChatGPT）推送更多数据，并减缓了该公司计划推出的附加功能和服务。博客文章称，这还导致 OpenAI 现有的服务速度变慢且可靠性降低，这一事实让客户感到沮丧，并使他们不愿意在 OpenAI 的技术之上构建企业应用程序。

芯片供应紧张已经危及 OpenAI 在生成式人工智能热潮中的先发优势，因为谷歌以及不太知名的竞争对手已经能够推出竞争服务，并且开源竞争对手已经获得了更大的立足点。

Altman 列出了 OpenAI 目前还无法做到的几件事，因为它缺乏硬件（即芯片）。Habib 在他的博客文章中写道，其中包括为其 GPT 大语言模型的大多数客户提供更长的“上下文窗口”。上下文窗口确定在输入模型的单个提示中可以使用多少数据以及模型的响应可以持续多长时间。GPT-4 的大多数用户都有一个 8,000 个 token 长的上下文窗口（一个 token 是底层 AI 模型进行预测的一段数据，相当于大约一个半英语单词）。Habib 写道，OpenAI 在 3 月份宣布为该模型的特定用户提供 32,000 个token窗口，但很少有用户被授予使用该功能的权限，Altman 将这一事实归咎于缺乏 GPU。

世界上大多数人工智能应用程序都是在 GPU 上训练和运行的，GPU 是一种计算机芯片，旨在使用高速并行处理来处理数据。大部分芯片都是由一家公司制造的英伟达，并且可能花费数千至数十万美元。市场观察人士已经知道，英伟达的股价因与生成型人工智能的蓬勃发展有关而飙升，其市值最近已突破 1 万亿美元大关。

据报道，OpenAI 联合创始人兼首席执行官还向开发者保证，OpenAI 没有计划推出任何面向消费者的产品。Habib 表示，会议上的许多开发人员告诉 Altman，他们担心使用 OpenAI 的人工智能模型来构建 OpenAI 本身是否会在以后推出竞争产品。据报道，Altman 表示，ChatGPT 将是其唯一面向消费者的产品，他对其未来的愿景是成为“超级智能工作助手”，但许多涉及底层 GPT 大语言模型 OpenAI 的行业特定案例“不会触及”。”

据报道，奥特曼还表示，他一个月前发表的评论“巨型模特时代”已经结束被错误地解释了。OpenAI 负责人告诉开发者，他只是想说，考虑到 GPT-4 有多大，OpenAI 的最强大的大语言模型，已经是这样了，继续以指数方式扩展人工智能系统是不可能的。他在伦敦会议上表示，OpenAI 将继续创建更大的模型，但它们只会比 GPT-4 大两到三倍，而不是大数百万倍。

据报道，在与开发者的对话中，Altman 还列出了 OpenAI 的近期路线图。Altman 表示，OpenAI 的目标是在 2023 年内使 GPT-4 更快、更便宜，提供更长的“上下文窗口”以允许人们向 OpenAI 的 GPT 模型提供更多数据并接收更长的输出，推出一种更简单的方法来微调 GPT- 4 针对特定客户用例，还允许 ChatGPT 及其底层大语言模型保留过去对话的记忆，这样，每次人们想要接听他们想要的对话时，就不必重复相同的提示序列。哈比卜的博客文章称，停止或重复与模型的某些互动。

据报道，Altman 表示明年的首要任务是推出 GPT-4 接收图像作为输入和输出的功能，该公司在 3 月份推出该模型时展示了这一功能，但尚未向大多数客户提供。

在谈到监管时，奥特曼对开发商表示，他认为现有的模型不会带来任何巨大的风险，“监管或禁止它们将是一个很大的错误，”哈比卜写道。Altman 重申了他的公开立场，即 OpenAI 相信开源人工智能软件的重要性，并证实了科技出版物The Information的一篇报道，即 OpenAI 正在考虑开源其一个模型。据该博客称，Altman 表示，该公司可能会开源其 GPT-3 模型，但尚未这样做，因为 Altman“对有多少个人和公司有能力托管和服务”大型语言模型持怀疑态度。

据报道，Altman 在闭门会议上表示，该公司仍在试图弄清楚 ChatGPT Plus 客户想要如何使用插件允许大型语言模型使用其他软件。Habib 在博客中表示，这可能意味着这些插件尚不适合产品市场，并且不会很快通过 OpenAI 的 API 向企业客户推出。

Habib 和 OpenAI 都没有立即回应《财富》杂志的置评请求。

Habib 的博文引发了社交媒体和开发者论坛的热烈讨论。许多人表示，Altman 的评论表明，缺乏 GPU 对于实现大型语言模型的商业潜力来说是多么大的问题。另一些人表示，这表明开源人工智能社区的许多创新对于人类来说是多么重要——该社区已经开发出创新方法，可以使用更少的计算能力和更少的数据来实现与一些最大的专有人工智能模型相似的性能。技术的未来。

梅雷迪思·惠特克信号基金会主席、大型科技公司的主要评论家在柏林一次会议间隙接受采访时表示，这篇博文显示了世界上最大的科技公司对当今人工智能软件基础的束缚，因为只有这些公司能够负担训练最大的人工智能模型所需的计算资源和数据。

“你看到的是，即使可以访问微软的基础设施，主要的限制也是 GPU，”她说，指的是 OpenAI 与微软迄今为止，该公司已向这家旧金山人工智能初创公司投资了 130 亿美元。“你需要极其昂贵的基础设施才能做到这一点。” 她说，人们不应该将开源人工智能社区的存在与“实际上民主和竞争的格局”混为一谈。

Last week I had the privilege to sit down with Sam Altman and 20 other developers to discuss OpenAI’s APIs and their product plans. Sam was remarkably open. The discussion touched on practical developer issues as well as bigger-picture questions related to OpenAI’s mission and the societal impact of AI. Here are the key takeaways:

1. OpenAI is heavily GPU limited at present

A common theme that came up throughout the discussion was that currently OpenAI is extremely GPU-limited and this is delaying a lot of their short-term plans. The biggest customer complaint was about the reliability and speed of the API. Sam acknowledged their concern and explained that most of the issue was a result of GPU shortages.

The longer 32k context can’t yet be rolled out to more people. OpenAI haven’t overcome the O(n^2) scaling of attention and so whilst it seemed plausible they would have 100k - 1M token context windows soon (this year) anything bigger would require a research breakthrough.

The finetuning API is also currently bottlenecked by GPU availability. They don’t yet use efficient finetuning methods like Adapters or LoRa and so finetuning is very compute-intensive to run and manage. Better support for finetuning will come in the future. They may even host a marketplace of community contributed models.

Dedicated capacity offering is limited by GPU availability. OpenAI also offers dedicated capacity, which provides customers with a private copy of the model. To access this service, customers must be willing to commit to a $100k spend upfront.

2. OpenAI’s near-term roadmap

Sam shared what he saw as OpenAI’s provisional near-term roadmap for the API.

2023:Cheaper and faster GPT-4 — This is their top priority. In general, OpenAI’s aim is to drive “the cost of intelligence” down as far as possible and so they will work hard to continue to reduce the cost of the APIs over time.

Longer context windows — Context windows as high as 1 million tokens are plausible in the near future.

Finetuning API — The finetuning API will be extended to the latest models but the exact form for this will be shaped by what developers indicate they really want.

A stateful API — When you call the chat API today, you have to repeatedly pass through the same conversation history and pay for the same tokens again and again. In the future there will be a version of the API that remembers the conversation history.

2024:Multimodality — This was demoed as part of the GPT-4 release but can’t be extended to everyone until after more GPUs come online.

3. Plugins “don’t have PMF” and are probably not coming to the API anytime soon

A lot of developers are interested in getting access to ChatGPT plugins via the API but Sam said he didn’t think they’d be released any time soon. The usage of plugins, other than browsing, suggests that they don’t have PMF yet. He suggested that a lot of people thought they wanted their apps to be inside ChatGPT but what they really wanted was ChatGPT in their apps.

4. OpenAI will avoid competing with their customers — other than with ChatGPT

Quite a few developers said they were nervous about building with the OpenAI APIs when OpenAI might end up releasing products that are competitive to them. Sam said that OpenAI would not release more products beyond ChatGPT. He said there was a history of great platform companies having a killer app and that ChatGPT would allow them to make the APIs better by being customers of their own product. The vision for ChatGPT is to be a super smart assistant for work but there will be a lot of other GPT use-cases that OpenAI won’t touch.

5. Regulation is needed but so is open source

While Sam is calling for regulation of future models, he didn’t think existing models were dangerous and thought it would be a big mistake to regulate or ban them. He reiterated his belief in the importance of open source and said that OpenAI was considering open-sourcing GPT-3. Part of the reason they hadn’t open-sourced yet was that he was skeptical of how many individuals and companies would have the capability to host and serve large LLMs.

6. The scaling laws still hold

Recently many articles have claimed that “the age of giant AI Models is already over”. This wasn’t an accurate representation of what was meant.

OpenAI’s internal data suggests the scaling laws for model performance continue to hold and making models larger will continue to yield performance. The rate of scaling can’t be maintained because OpenAI had made models millions of times bigger in just a few years and doing that going forward won’t be sustainable. That doesn’t mean that OpenAI won't continue to try to make the models bigger, it just means they will likely double or triple in size each year rather than increasing by many orders of magnitude.

The fact that scaling continues to work has significant implications for the timelines of AGI development. The scaling hypothesis is the idea that we may have most of the pieces in place needed to build AGI and that most of the remaining work will be taking existing methods and scaling them up to larger models and bigger datasets. If the era of scaling was over then we should probably expect AGI to be much further away. The fact the scaling laws continue to hold is strongly suggestive of shorter timelines.

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第3604期内容，欢迎关注。