Redian新闻
>
GPT-5,被5万张H100卡脖子

GPT-5,被5万张H100卡脖子

公众号新闻

来源新智元

最近,外媒曝出Sam Altman正计划筹集数十亿美元,为OpenAI建起全球性的半导体晶圆厂网络。GPT-5训练严重缺芯,OpenAI誓不让英伟达掌握主动权,干脆自己做新的AI芯片霸主?
Sam Altman正在筹集数十亿美元,建立一个全球性的半导体晶圆厂网络!
这一事件背后的原因很可能就是,OpenAI已经无「芯」训练「GPT-5」了。
此前,据英国《金融时报》报道,OpenAI 正在开发一种新的AI模型,该模型将是 GPT-4 的「重大升级」,预计将于今年晚些时候发布。
训练GPT-4,用了大约25000块A100 GPU 。而训练GPT-5,还需要5万张H100。如今,英伟达的H100售价为2.5万至3万美元。
英伟达的AI芯片,基本垄断了市场,这一命脉怎能掌握在他人手中?
果然,最近外媒接连曝出,Sam Altman正在和中东投资者以及台积电谈判,展开合作关系,以训练和运行AI模型的芯片。
算力货币决定着OpenAI的前途,绝不能把握在英伟达手里!Altman这次,是下定决心了。


训GPT-5,OpenAI对芯片的需求只会越来越大

Altman的野心是,随着AI技术的广泛应用,在未来几年建成一个自给自足的半导体供应链帝国。
所以,OpenAI也有意跟英特尔、台积电和三星等行业巨头竞争了?

Altman在达沃斯经济论坛上表示,今后世界的两大货币,就是算力和能源
比起亚马逊、谷歌、微软等大厂,Sam Altman显然有更宏大的计划:建立一个AI芯片工厂网络。
Altman应该是很确信,现在的台积电、三星、英特尔之类的代工厂,未来几年内肯定无法满足对AI芯片的需求。
现在,Altman正在筹集数十亿美元,目标就是建立一个遍布全球的AI芯片工厂网络。
现在,他正在和多家潜在的大型投资者进行谈判,包括总部设在阿布扎比的G42和软银集团。
显然,在AGI时代,芯片会供不应求。Altman现在十分担心,随着AI技术的日益普及,现有的芯片供应将无法满足大规模部署的需求。
目前生产的AI芯片,远远落后于预期的需求。只有立刻行动,才能确保十年内能有充足的芯片供应。
然而,建立一个全球性的芯片工厂网络需要庞大的投资,并且耗时多年。
而且,与行业中其他公司不同的是,建设和维护半导体工厂的成本要高得多。一个先进工厂的建设成本,可能高达数百亿美元。
亚马逊、谷歌、微软都倾向于设计自家的定制芯片,将制造外包,这也是因为建造和维护半导体的晶圆厂的成本,实在太高了!
毕竟,建造一家最先进的晶圆厂可能需要数百亿美元的投资,而建立这样的设施网络可能需要数年时间。
根据彭博社的报道,仅在OpenAI与G42的谈判中,涉及金额就接近80亿到100亿美元。


OpenAI新金主:中东土豪

OpenAI的前任金主是微软。而现在为了筹资,Altman联系上了中东土豪们,比如阿联酋的一些投资者。
其中一位,就是阿布扎比最富有、最有影响力的人物之一——谢赫·塔赫努恩。
谢赫·塔赫努恩是阿联酋最有权势的人之一,是总统谢赫·穆罕默德的兄弟,还是阿联酋的国家安全顾问。
他还负责监督迅速扩张的商业帝国,并担任阿布扎比若干最强国家投资基金的主席。其中包括8000亿美元的阿布扎比投资局和另一家国有投资实体ADQ。
另外,他还担任国际控股公司和G42的主席。前者是一家庞大的企业集团,已迅速成为阿联酋最大的上市公司;而G42是一家雄心勃勃的AI公司,已经和微软、OpenAI建立起了合作伙伴关系。
目前还不清楚Altman具体的筹款金额,但要与市值接近1.5万亿美元的英伟达竞争,保守来说至少会花费数十亿美元。

G42集团CEO Peng Xiao和Sam Altman签订协议
别的不说,Sam Altman的社交手腕,是真的达到了人类天花板级别。


建厂要花费的,是天文数字

咱们来盘一盘,要建起一座晶圆厂,Sam Altman究竟需要花多少钱。
开发2nm或3nm工艺技术的成本,高达数十亿美元,并且随着工艺节点的缩小,这一成本还在上升。
同时,一个能够大规模生产3nm或2nm芯片的现代晶圆厂,如今成本可达300亿美元。
并且,晶圆厂的成本还在迅速上升,比如一台低数值孔径(Low-NA)极紫外(EUV)光刻设备的价格,约为2亿美元,而高数值孔径(High-NA)的光刻机,预计售价在3亿至4亿美元之间。
一个领先的晶圆厂要想生产最先进的AI和高性能计算(HPC)芯片,这种设备怎么也得备上若干台。


AI浪潮中,英伟达坐收渔翁之利

现在,谷歌、亚马逊、Meta、OpenAI和微软,都在使用英伟达的GPU来训练AI、向客户部署模型。仅Meta一家,就计划在年底前为服务器安装340,000块H100。
可以说,英伟达垄断了目前的AI算力市场,并且手持定价权,这就导致其收入飞速增长。
像Graphcore这样的芯片初创公司,已经很难与英伟达的主导地位竞争了,这是由软件和硬件之间的相互作用造成的。仅仅制造一个更快的芯片,已经远远不够的,何况这本身就相当困难。
显然,各大科技公司都很早就开始布局了。
亚马逊、谷歌和微软这样的大科技公司是这么做的——设计自己的定制半导体产品,将生产过程外包给其他公司。
现在,各家都到了收获的季节。去年11月底,微软就推出了首款AI芯片,同时,微软也在和AMD加紧合作;23年春季之前,Meta也推出了自家芯片;谷歌和亚马逊,则分别研发TPU和Trainium芯片多年。

微软的最新Azure Maia 100芯片


OpenAI曾怒甩5100万刀狂买AI芯片

去年12月,Altman就被曝出正在进行「芯片交易」,而这也疑似成为OpenAI宫斗的导火索。
当时有外媒曝出,OpenAI在2019与AI芯片初创公司Rain AI签订了一份价值5100万美元的意向书,会在Rain AI的芯片上市后购买芯片。
Rain AI正在研发一种「类脑」NPU芯片,能大幅降低AI算力的成本,预计将在12月流片,并于2024年10月开始供货。
而且值得注意的是,Sam Altman作为Rain AI的股东,本人也亲自斥资,投入了100万美元。
根据一位不愿意公开身份的人士透露,Sam Altman之前被OpenAI前董事会解雇,部分原因就是他的其他投资与OpenAI纠葛的关系。

据悉,Altman曾为了这个代号为Tigris的项目在中东筹集资金
RainAI开发的神经形态处理单元(NPU),能模仿人类大脑的功能,有希望提供比当今的GPU更高的处理能力和能源效率。
这个NPU「类脑」芯片,号称比GPU高出100倍的计算能力,而在训练方面的能效,甚至比GPU高出10000倍。
Rain的目标是提供一种芯片,既能用于模型和算法的训练,又能用于之后的推理运行。
根据Rain的说法,这种芯片将允许AI模型根据周围环境实时定制或微调。
——从这个角度来看,它并不是当下英伟达H100之类GPU的直接竞品。
相关人士表示,这些功能对OpenAI来说是一个强大的吸引力,OpenAI希望利用这些芯片来降低数据中心的成本,并将自己的模型部署在手机和手表等设备中。
如果能够开发成功,OpenAI自然不会再受制于英伟达。
其实,Altman的布局很早。
早在2018年,他就领导了Rain的种子轮融资,一年后,OpenAI通过了这份价值5100万美元的芯片购买意向书。
当然,Altman的计划也不是一帆风顺的。
此前Rain的领导层曾改组,公司的投资者也发生了变化。一个负责监管国家安全风险投资的跨部门政府机构,要求沙特阿拉伯附属基金Prosperity7 Ventures出售其Rain的股份,之后,硅谷的Grep VC收购了这些股份。
——这一切变动,可能会增加Rain将新型芯片技术推向市场的难度,也使OpenAI的5100万美元订单的兑现日期,变得不太清晰。
总的来说,与Rain的这项交易也显示,OpenAI愿意花费大量资金,来确保自己的AI项目所需的芯片供应。
现在,从Rain AI购买的价值5100万美元的AI芯片,只是OpenAI在AI芯片上巨额投入的一小部分而已。


OpenAI的野心,正在悄悄部署

年前,OpenAI就任命了前谷歌TPU的负责人为硬件主管,并且正在招聘「数据中心设施设计专家」。
消息称,由芯片工程师Richard Ho领导生成式AI创业公司的新部门,帮助优化合作伙伴的数据中心网络、机架和架构。
「他在TPU的创建中也发挥了重要作用。也曾在DE Shaw工作并设计过ASIC。到目前为止,他更多地负责软件硬件集成、DC设计和加速器芯片选择。但OpenAI最近也聘请了不少编译器和内核方面的专家。」
另外,Altman还曾与包括芯片设计公司Arm在内的半导体高管进行过讨论,商讨如何尽早设计出新的芯片,为OpenAI降低成本。


OpenAI的GPU短缺有多严重?Altman:都先别用ChatGPT了

去年一整年,Sam Altman都在抱怨OpenAI已经陷入了严重的GPU短缺。
生成式AI爆发仍旧没有放缓,对算力提出了更高的要求。很多公司都在用英伟达性能极高的H100来训练模型,但H100非常昂贵。
马斯克就表示,GPU如今比drug还紧俏。
Sam Altman表示,OpenAI已经严重受到GPU限制,不得不推迟了众多短期计划(微调、专用容量、32k上下文窗口、多模态)。
甚至,因为GPU的短缺,Altman都不希望有很多人使用ChatGPT。

我们的GPU非常短缺,使用我们产品的人越少越好。

如果人们用的越少,我们会很开心,因为我们没有足够的GPU。
OpenAI许多用户都在抱怨API的可靠性和速度,对此Sam Altman解释道,原因也是在于GPU太缺了。
训练GPT-5,需要5万块H100,但此前曾有报道称,英伟达最好的芯片H100,将在2024年之前就会售罄。
如果市场上GPU跟不上,将会阻碍OpenAI提升和训练新模型的能力。
如今到处奔走的Altman,能为建立晶圆厂筹到数十亿甚至数千亿美元的资金吗?能维持厂子的运营吗?
目前我们只知道,他的举动有可能改变整个代工市场的格局。

参考资料:

https://www.tomshardware.com/tech-industry/artificial-intelligence/openais-sam-altman-raises-billions-to-build-chip-empire-report

https://the-decoder.com/gpt-4-successor-reportedly-a-major-upgrade-openais-altman-in-talks-with-tsmc-for-ai-chips/

https://www.ft.com/content/1cdaadc3-b384-4f50-88ff-291c062c8376


欢迎加入这个星球,见证硅基时代发展↓

点个在看,再走吧👀

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
澳洲飞中国机票只要$115!1.5万张赶紧抢!小扎砸数百亿美元猛攻开源AGI!狂掷60万块H100,爆50倍GPT-4算力扎克伯格宣战AGI:Llama 3训练中,今年要囤35万块H100,砸近百亿美元【交通】春节出行攻略请收好,还有25万张公共交通优惠券等你来领!6056 血壮山河 卢沟桥之变 25小扎All in 开源AGI:正训练Llama 3,年底将有35万块H100印度被卡脖子?印度国土,为什么差点被分割成两部分?近期消息综合(wk2405,北美转机可用上新马泰免签|H1B签证&美国入境提示|中美增班的一些想法)一文读懂英伟达的“新GPU”:比H100快5倍?1200W的功耗?液冷?与MI300X比较又如何?家居修理系列: 家用电器的修理(5)前几天还在吹牛,现在一卡脖子立马装死2024,中国芯片想要突破卡脖子,还需要什么?说一个有关Open AI的Chat GPT 创投人和我家的小故事OpenAI 忙着“宫斗”,手握 2.2 万块 H100 的竞争对手趁机发布新款大模型:1750 亿参数,性能仅次于 GPT-4AI早知道|ChatGPT灰度测试多GPTs协同;新Bard逆袭GPT-4;百川智能发布Baichuan3重磅!ChatGPT放大招!GPT Store应用商店今天上线!超300万GPTs,内卷之下的赚钱机会!全球最强大模型一夜易主,GPT-4时代终结!Claude 3提前狙击GPT-5,3秒读懂万字论文理解力接近人类|亮马桥小纪严选H1B抽签注册截止推迟 | 收好这份"H1B受难者"专属奖学金爆火的国产冲锋衣,也被「卡脖子」95%的氦气要靠进口,中国能突破“卡脖子”吗?老黄祭出新核弹B200!30倍H100单机可训15个GPT-4模型,AI迎新摩尔时代今年H1B中签率会如何变化?FY2025 H1B抽签全梳理“市场换技术”依旧落后,“被卡脖子”反而遥遥领先?自主创新与技术引进之间的关系2.9 万张 BTC 期权和 23 万张 ETH 期权即将到期GPT-5被5万张H100卡脖子!Altman急筹数十亿美元,欲取代英伟达建起AI芯片帝国GPT两月超300万GPTs!深扒全球Top 100 GPTs,有哪些财富密码?Costco美食广场将油条换成新甜点 750卡路里“全是黄油”国产冲锋衣,也被「卡脖子」扎克伯格自爆:拥有35万张H100日本最贵的“Ponshu”(日本酒)最让我感动的伟大和奇迹芯片,又被卡脖子了OpenAI忙着“宫斗”,手握2.2万块H100的竞争对手趁机发布新款大模型:1750亿参数,性能仅次于GPT-4风云人物郭文贵(1)性能直追GPT-4,5000个H100训成!DeepMind联创发全新一代大模型快看!澳航推出“黑五”特惠活动!75万张机票打骨折出售!热门航线最低109澳元!手慢无!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。