Redian新闻
>
英伟达,人工智能背后的新帝国

英伟达,人工智能背后的新帝国

公众号新闻

通往未来30年的秘密。


作者 I 袁榭

来源 I 蓝字计划

(ID:NPO2020)


1990年代中期,黄仁勋30出头,他创办的英伟达还没完全站稳脚跟,他希望如日中天的台积电能代工英伟达的显卡,他打电话过去,没人搭理。


多年后,他还在向张忠谋抱怨这段往事:“当年给你打电话打不通也没人回,是不是我电话号码记错了?给你公司在美国的销售部门打电话也没人接。”


今天,全球科技界恐怕没有几个人敢不接黄仁勋的电话,这个当年求人代工显卡的小伙子被称为“教主”,在3月21日的英伟达GTC大会上,他穿着标志性的黑色皮衣出现台上,说出了石破天惊的一番话:我们正处于AI的“iPhone时刻”。


2022年11月,大语言模型ChatGPT问世,预示着能生成自然文章和图像的“生成式AI”将在社会普及,给世界带来颠覆性的改变。而支撑这幅图景的,有英伟达的GPU——AI时代最重要的基础设施之一,GPU提供算力,犹如AI时代的原油。


2020年,全世界跑AI的云计算与数据中心,80.6%都在用英伟达的GPU驱动。2021年,英伟达称全球前五百个超算中,七成由它家的芯片驱动,在最新的超算系统中此比例是九成。运行ChatGPT的微软数据中心用了上万块英伟达H100 GPU。后续,预计需要超过3万块英伟达的GPU来维持更高版本的GPT模型运转。


如同1970年代的欧派克一限产,全世界的汽车都缺油。现在只要英伟达一断供芯片,管你天高股价、地大营收,全球前十大企业里,至少有一半要地震。


黄仁勋和他的算力帝国,已经能扼住时代命脉。这其中,有着通往未来30年的秘密。


十年前悄然发生的革命


2023年英伟达GTC的主题演讲中,黄仁勋专门提到了生成式AI的飞跃:


“十年间,我们从自动判读猫图,进步到能自动生成‘穿太空服的猫在月球漫步’的图片。”



皮衣老黄真不忘本。无论是“AI的iPhone时刻”,还是英伟达成为“算力油田”,都是蓄力于前,发端于自家的“猫片”。


2010年的一天,加州帕罗奥图市的琼安咖啡馆里,刚做上英伟达首席科学家的比尔·戴利(Bill Dally)和当时在谷歌大脑供职的AI界宗师吴恩达(Andrew Ng)聚餐。


十余年过去后他们会发现,正是这场会面,无意地打开了一道通往AI新世界的大门。


两个老友在席间聊起了吴恩达当时课题面临的障碍:训练神经网络AI的算力不够了。


具言之,谷歌要用数千万条YouTube视频来训练神经网络AI分辨猫与人的不同。而当时AI界的领军人物们仍然习惯串联CPU来执行此类任务。吴恩达预计,要完成课题得用1.6万块CPU。


就算是从不缺钱的谷歌,也不会给公司内任一研发项目组轻松批下买1.6万块CPU的预算。AI宗师当年也被难住了。


戴利听完老友诉苦,认为自己有现成解决方案:不就是在线寻猫片么,何必整1.6万块CPU,用我们英伟达公司的显卡产品,几十块就搞定,你信不信?


当时英伟达虽已制霸世界独立显卡业,但名声还只局限在极客、硬核游戏玩家、图形设计师等非普罗用户中。谁也不知道,这将是英伟达公司与人工智能行业双向奔赴、双双出圈的起点。


随后,戴利找上刚从加大伯克利分校招到英伟达的非正职研究员布莱恩· 卡坦扎罗(Bryan Catanzaro),请他帮忙。卡坦扎罗很快找到了解决方案:并联12块英伟达GPU成功驱动了吴恩达的神经网络模型,并联48块GPU就能获取预计要用1.6万块CPU才有的理想效果。


论文一出,学界响震:居然有这种好事?


两年后,AI界泰斗辛顿(Geoffrey Hinton)和学生克里泽夫斯基(Alex Krizhevsky)、萨茨克维尔(Ilya Suskever)效仿此举,用英伟达的GeForce GTX 580显卡训练由克里泽夫斯基提出的神经网络模型AlexNet,夺得ImageNet图像分类竞赛冠军,成为AI技术飞跃的奇点。


从此,英伟达在深度学习芯片市场上撒腿狂奔。2013年内,英伟达在全球深度学习芯片市场占有率是100%。在上个世纪能源是石油,在这个世纪能源是算力。以后的新时代里,黄仁勋的黑皮衣,如同上个世纪海湾国家显贵们的白罩袍,都是唯我独尊的霸主象征。


十余年过去,泰斗和宗师地位更高,年轻人也成了行业大佬。卡坦扎罗现在是英伟达副总裁、深度学习应用研究部负责人,萨茨克维尔现在是OpenAI的首席科学家、联合创始人、GPT系列大模型集合之父。


ChatGPT面世后,意外风靡世界,被称为AI技术革命的开始。然而即使这个大模型集合如OpenAI一开始预期的,作为GPT3到GPT4之间的过渡实验版本简单飘过,AI技术革命的下一个出圈爆点,钥匙还是会掌握在英伟达高层的朋友圈里。


因为算力的扩张与通用、技术的开发与布局,是英伟达成功的因由。


一炮打哑,老黄吃瘪 


大人物功成名就后,一般会支楞起来。


2018年初,《财富》杂志举办的活动中,有人问黄仁勋:你何时知道英伟达公司将会改变世界的?黄仁勋答:1993年2月17日,我成立公司的日子。不改变世界,我创个什么业?


皮衣哥自己说得响,但1990年代中,英伟达的运营低谷时账面上曾只有6个星期的资金,离关门一步之遥。


人尽皆知,英伟达靠开发显卡起家。然而黄仁勋创业的初心,与其说是做显卡,不如说一直都是求索算力提高的途径。


在1990年代,多媒体犹如近年的元宇宙、数据可视化犹如当下的生成式AI,都是从投资者到消费者都追捧的热门技术话题。多媒体与可视化数据在当年的舆论浪潮中,被夸到小可以养妻活儿、提高工作娱乐效率,大可以改天换地、重写行业经济版图。


这些技术的基础,是图像数据处理的更佳质量与速度。如果游戏、视频、PPT们始终停留在1992年的粗粝画质,啥都无从说起。


世界首款大卖FPS游戏1992年《重返德军总部3D》与2001、2019年系列续作的画质对比


1995年,全球有三十家大公司在显卡市场上竞争。


然而追逐时尚比想象中要难。创业公司得决断:是专注个人电脑(PC)端的业务呢,还是专注特定公司的娱乐主机业务呢?是只做图像呢,还是做多媒体通抓音画呢?


尽管当时没有“赛道”的商业新话,企业家抉择的难度并不低于现在。


英伟达的创始概念是加速计算,即用特制设备来为CPU的运算工作减负提速,最简洁的落地方案,自然是堆算力造显卡处理图像。


筹到250万美元后,于1995年5月推出第一款产品:NV1。以现在的后见之明看,NV1的最大作用是给黄仁勋提供了反面经验:这种产品做得很好,以后千万不能做了。


出于为当时的游戏主机巨头世嘉公司服务的考量,NV1最突出的特色,是兼容世嘉游戏在PC上的运行,与业内既有和将出现的其他PC端3D图像程序基础架构的兼容性不够出色。


当时世嘉公司有意将游戏业务从街机、主机端扩展到PC端,NV1的努力迎合了主要合作商的需要,但局限了自己的市场潜力。而且NV1兼具显卡和声卡功能,偏离了加速计算基于图像落地的初衷,产品定位有欠清晰。


NV1没有一鸣惊人,英伟达公司却非一无所获。黄仁勋藉此从风投机构融了650万美元的第二轮投资。


不过在1997年8月推出新产品Riva 128前,英伟达已经裁员过半,银行账户只剩不到6周的流动资金。办公室既窄小,地段又不佳。剩余的员工们不仅要在乒乓球桌上吃饭,连停车场也只能蹭旁边富国银行的,而这家网点已经被抢劫过两三回了。


头炮打哑,只要教训真记住,对创业企业家来说并不完全是绝路。


虽然黄仁勋在各种活动上说创业首年的雇律师、订办公室早饭等各种经验非常宝贵,但从1997-1999年上半年的英伟达三款产品看,他记住的显然不止这些。


英伟达的过往,映照着它的未来。


把摩尔定律“卷”到极致


英伟达此后的转向,一是主业放弃多媒体,专做PC端的显卡。


1990年代中期,游戏业的热门话题是从主机/街机走向PC,而不被注意的潜流是游戏同时在从PC单机走向PC端多人在线。关于图形渲染的硬件性能需求因此与日俱增。只满足这个缺口,已经足以养活整个行业。


二是垂直整合显卡的配套软件,自行开发显卡驱动程序和拓展软件开发工具包(SDK,software development kit)。


过去的惯例是,英伟达这些显卡研发公司把设计交付主板芯片生产商之后,由生产商自己分包给另外的承包者写显卡驱动。至于用显卡做图形设计等专门工作的终端用户、PC运行系统的开发商,与显卡研发者没有直接配合。凡此种种,局限了显卡的性能潜力和用户体验。


1996年,英伟达专为配合微软当时刚推出的Direct3D图形渲染插件,写了自家显卡驱动程序。1998年开始,英伟达公司会定期即时更新自家的通用显卡驱动程序。此举持续至今。



三是全力秉持和实现摩尔定律。这是英伟达现在成为全球算力第一供应商的基础。

不久前去世的英特尔联合创始人戈登·摩尔(Gordon Moore),在1965年提出了摩尔定律:集成电路上可容纳的晶体管数目,约每隔两年便会增加一倍。衍生的推论,是每隔18个月,芯片的性能就会因此提高一倍。


英伟达公司的决策层,立志要将摩尔定律永续实现。


从1990年代后半叶开始,英伟达的产品设计与研发部门一直有三个部分同时工作:一部分负责本年度新品的设计,一部分负责去年出品的翻新挖潜设计,一部分负责明年新品的设计。每款产品之间,基本要有一倍的性能提高,如果显存没有涨一倍,那么核心频率就得快一倍,如果都不行,那么至少制程要明显缩小。


如此的结果,是英伟达每半年至一年就会推出性能换代的新品,1999年之前的产品内部代码全叫NV,即“下一版”(Next Version)的首字母缩写。其他同业公司跟不上如此搏命的步伐,纷纷退出竞争。


1995年的三十家显卡设计大公司,到1999年末只剩下三家。英伟达与之后被AMD收购的ATI,并肩收割游戏玩家、专业设计师等高性能显卡用户的市场份额。英特尔依靠PC主板的垄断生产商地位,包揽主板集成显卡的低性能用户市场。


1999年10月,英伟达推出GeForce 256,在营销中称“这是世界上第一款GPU”。同年,过去占据显卡市场龙头的3dfx公司破产,被英伟达收购。显卡业告别创业者纷纷崛起的时代,进入了“红绿蓝三国战争”的时代(按商标颜色不同的消费者昵称,“红厂”为AMD、“绿厂”为英伟达、“蓝厂”为英特尔)。


在20世纪的末尾,没人知道这场竞逐的结果,会决定之后由谁主宰世界算力的供应。


干翻英特尔和AMD


经过20年,红绿蓝三厂竞争显卡市场霸主地位的结果揭晓:“绿厂”英伟达胜出了。


这场“三国演义”里,“蓝厂”英特尔一直是配角。凭借全球PC主板市场的垄断地位,英特尔的注意力一直放在CPU而非GPU。在英特尔眼中,要提高性能,得整个主板的整全性能一起提升,只提升图像处理的速度,那是偏门小道。


所以英特尔做显卡只是占位,表示这个市场的钱自己还是要赚点,没有完全放弃。这个策略的结果,现在已经被人做成了搞笑哏图。


究其原因,是CPU要负责整个电脑主板的序时性复杂运算,而GPU在成为通用类芯片前只需负责图像处理的并时性简单运算。如下图所示,单个CPU的控制元件、基础运算单元(ALU)、缓存(Cache)等,都比单个GPU数量少而负重大,因此提升性能的设计与制造难度都远更高。


黄仁勋多次说过,以CPU而言,摩尔定律已经过气,英特尔CPU性能翻倍的最快时限是每五年。然而他家的GPU嘛,还是每一至两年内性能翻倍的哦。



真正的激烈竞争,发生在英伟达和ATI/AMD之间。


这场角逐的早期,英伟达并不显操胜算。在2006年被AMD收购前,ATI出品的显卡,无论更新速度还是单个性能,都屡有明显优于英伟达竞品的佳作。高端显卡的世界第一,在2000年代前半段看不出究竟属谁。


但ATI在这场竞争中已经后续乏力,英伟达的产品更新与性能提升速度,始终达到了摩尔定律的金标准。而ATI的产品更新目标,从胜过英伟达竞品,逐渐变成了赶上英伟达竞品。


ATI/AMD因应此形势的对策,是改作中端显卡:比英特尔的集显性能强,比英伟达的高端显卡更便宜。并且在营销中攻击英伟达的竞品又贵又耗电:顾客大爷你们千万不要被它越来越吓人的性能参数骗了,不是物超所值的哦。


2006年,ATI被AMD收购,英伟达少了一个强对手,胜算增加。


唯一的变数在于芯片代工厂。


显卡业的过往通则,是ATI、英伟达等品牌企业管设计,然后将设计方案交付给芯片厂,委托它们制作成品。


当然,不是没有公司想囊括从设计到生产的全链条,但此举一般会给自己带来双倍的麻烦:以前承接你生意的芯片厂合作伙伴,以后就是要抢你生意的竞争对手。1990年代从显卡龙头到被英伟达收购的3dfx,就是如此把自己玩破产的。


在被收购前,ATI是台积电的大客户。但收购之后,2009年AMD与半导体大厂格芯签约,所有芯片都交由格芯制造。而格芯在芯片制程缩小的技术革新中逐渐落后于台积电,带累了AMD的所有产品,包括显卡。


与之相对的,是英伟达与台积电1997年敲定的合作关系合作越发紧密。


而这两家公司的牵手之路,颇有戏剧性。


1990年代中期,台积电已经是市值近60亿美元的大公司,英伟达没有上市,年营收2700万美元,两者体量差距不小。正如本文开头所述,黄仁勋给张忠谋本人和台积电美国办公室打电话,没人接。


最后,黄仁勋做出了科技史上的著名举动:给张忠谋写纸信。1997年,人在新竹的张忠谋收到来自美国的黄仁勋的信函后,大感兴趣,如信中所邀,给英伟达公司办公室回了电话。


在张忠谋的回忆中,黄仁勋接电话时,办公室背景音嘈杂。在互相通名介绍后,皮衣哥不得不在公司里怒叱:“都闭嘴!悄声些!电话那头是张忠谋!”等到两人第一次见面,黄仁勋先讲了半天图像加速运算的产品理念,张老板表示非常认同,反手递来宣传单。黄仁勋本以为轮到台积电介绍自己的技术与产能了,结果打开一看,是讲公司价值观的。


英伟达在这段合作关系的初期如此伏低做小,越往后收获越大。台积电的芯片制程每年都在缩小,集成电路上的元器件现在已经微缩到物理极限,无法比原子更小。芯片的精密度与日俱增,算力也跟着有数量级的飞跃。


“显卡战争”的结果,是英伟达胜势如潮涌,成为显卡业的世界第一。制霸高端显卡市场的英伟达,有足够的营收来打中端显卡、低端集显的价格战,产品与技术研发也有更充足的预算。


英伟达的技术优势,从一步领先,到一骑绝尘。生成式AI爆火之后,2023年2月英特尔和AMD的CEO也在疾呼:我司有广泛的产品门类适合此行业,明年生成式AI将会更加主流普罗化、更有意义。


这简直是在哀求:时代的脚步啊,你等一等,别让姓黄的把这份钱都赚完了。


通用算力,一统江湖


胜出后,英伟达的显卡研发没有放缓,算力持续增强。在2000年代后半叶,英伟达就开始着眼未来,研究这些算力的未来用途。


2006年,英伟达推出CUDA开发平台,软件开发者可以通过这一平台,使用C语言编写GPU片上程序,来完成复杂的计算。GPU从此实际脱离图像处理的单一用途,成为了真正的GPGPU(通用GPU)。


强大的算力一旦能通用,成为其他行业的驱动力就是迟早的事。英伟达本身最先想通了这点,在AI领域的布局远比公众想象的早,技术领军人早就和英伟达关系密切。


2010年的吴恩达寻猫片典故之前,2008年卡坦扎罗加入公司,他当时在加州大学伯克利分校做研究生时,就将注意力集中在为AI开发GPU上。2009年,AI界泰斗辛顿在学术会议上,劝上千名研究者赶快买GPU,那是深度学习的未来之光。2016年,微软技术大拿黄学东创下了语音识别AI错误率与专业人类速记员持平的纪录后,得奖开香槟的地点,是黄仁勋的大别墅。


2010-2012年的深度学习飞跃开始后,英伟达已经是稳赢不输的世界“算力油田”,把握数据量与运算速度的世界巅峰。之后所有挑战都能克服,所有阻难都是表象。


英伟达把自己强大的GPU拓展到其他行业的尝试并不是次次得手。Tegra芯片最终没有成功进入手机市场,挖矿芯片随着加密货币潮的褪热前景黯淡,与特斯拉在自动驾驶系统的合作无疾而终,2022年黄仁勋“元宇宙将挺过任何经济下行”的预言现在像个玩笑话。


然而这些不成功尝试是力不虚掷、功不唐捐的。Tegra芯片装不进手机,那就卖给马斯克装进特斯拉车里。为元宇宙开发的Omniverse平台,用来合成训练AI的物理数据,多样性与过拟合规避还胜过了真实世界数据。扎克伯格做不动元宇宙,但黄仁勋的Omniverse却是长做长有。



英伟达的数字孪生体技术,已经足以为地球物理的机器学习模型提供高置信度模拟运算


即使有意竞争者的挑战,最后也成了给英伟达捧场。


2016年,谷歌宣布专门为AI研究开发了机器学习的专属芯片TPU(张量处理单元),并设计了基准测试工具MLPerf。然而在大多数年度的MLPerf测试中,按英伟达员工的自述,“黄总说,我们每次运行MLPerf基准测试时,都要向谷歌证明我们的GPU比TPU运算速度快,哪怕只快一点点就好。”


今年谷歌的TPUv4终于在MLPerf基准测试测试中赢了英伟达的A100芯片,成为业界大新闻:居然有芯片强过了英伟达产品!


蓄势强劲,横绝宇内。从现在到可预见未来的英伟达,如同1970年代至今的迪拜和利雅得:前30年是世界经济的不起眼齿轮,以后就是世界经济的动力舱。一直主宰能源驱动的上游,不管下游行业如何变动,自己都是八风不动。


不管福特和丰田谁赢了家用车竞争,顾客最后都要找海湾土豪买油。不管元宇宙还是生成式AI谁是真正的未来数字产业走向,跑模型的数据中心都要找英伟达买芯片。共生双赢,的确是英伟达赢两次。




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
英伟达,凭什么?您需要打“带状疱疹”疫苗吗?“比妖股还妖”!4天2板,3000亿巨头暴拉涨停!英伟达放大招,提速10倍,人工智能板块沸腾了!华人创造历史!英伟达市值突破万亿美元,是英特尔8倍!黄仁勋背后的女人曝光英伟达,在大模型浪潮下躺赢|最前线英伟达暴涨以后,"人工智能"概念股全涨疯了!!!智能革命:人工智能、机器学习、生物 学习和智能材料的合力酷刑!人工智能背后的“血汗工厂”:ChatGPT光环照耀不到的隐秘角落英伟达 CEO 黄仁勋还是有两把刷子英伟达,股价要泄了吗?人工智能大潮,为什么赢家是英伟达?巴黎---迪斯尼腾讯总收入持平,广告复苏;英伟达,所有 AI 供应商的供应商英伟达,无法撼动!陆房战斗考略之三(转贴)就连人工智能也建议暂时回避人工智能股票除了微软英伟达,人工智能还能投什么?英伟达:人工智能热潮带来的机遇与隐忧8位拥有“顶级好乳”的女星!个个“胸”器逼人,杨幂只能排倒数微软称GPT-4或具备人类逻辑,人工智能终将成“人类智能”?盘点四大技术板块,洞察百项人工智能开源项目——InfoQ研究中心带你探秘中国人工智能开源领域首个由人工智能生成的游戏和电影问世,探秘生成式 AI 如何发展(附相关人工智能产品集)比尔·盖茨:GPT背后的人工智能是1980年以来最重要技术进步|首席资讯日报人工智能信徒“木头姐”为什么会错过英伟达大涨英伟达悄然垄断算力:人工智能背后的新帝国英伟达并非人工智能革命的唯一大赢家《罗马帝国衰亡史》:兴盛的帝国各有千秋,崩溃的帝国总是相同ChatGPT引发人工智能浪潮,苹果、亚马逊、Meta、谷歌、微软、英伟达,谁能占据上风? |【经纬低调分享】寻找AI背后的造浪者 ——「AI41人工智能全明星企业」报名征集正式开始万亿英伟达,站上AIGC的肩膀|甲子光年英伟达,占比超40%帮扶与人工智能标注师: 有多少人工,就有多少智能|自由谈除了英伟达,这三只AI热门股亦值得重点关注!万亿英伟达,害怕失去中国“凤姐”罗玉凤在美国结婚+获得绿卡!高晓松送上祝福英伟达 CEO 黄仁勋:芯片制造是 AI 的「理想应用」 下一波浪潮是「具身人工智能」
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。