颠覆性GTC,老黄再扔炸弹 |【经纬低调出品】
Hopper的继任者——算力炸弹Blackwell B200来袭!
保留 Grace CPU 架构,同时能够与更新的 Blackwell GPU 进行配对。 世界上晶体管数量最多的芯片,包含2080亿晶体管,是H100的两倍多。 第二代Transformer引擎,至多可以提供的4 petaflops的AI计算,提升了推理能力和模型大小。 使用台积电定制4NP TSMC工艺加持,支撑双芯片配置,是对Hopper H100的改进版本。 配备18个第五代NVLink连接,是H100链接数量的18倍。能够提供高达1.8TB/s的双向吞吐量,可以支撑大规模GPU间的高速通信。 配备 192GB HBM3e 内存,足以提供高达 8 TB/s 的带宽。
NIM+NeMo:英伟达版企业用GPTs来了?
计算光刻平台
Project GR00T 人形机器人
英伟达成为业界公认的“产业风向标”,黄仁勋的发言也备受关注。
此前,黄仁勋曾表示,加速计算和生成式 AI 已达到一个转折点。而黄仁勋(Jensen Huang)先后参加了斯坦福商学院SIEPR经济峰会以及View From The Top 系列活动,围绕着加速计算的本质、模型训练的未来、人工智能(AGI)何时实现,AI增长需要多少额外芯片产能等方面,分享了不少真知灼见。
而在过去30多年的时间里,英伟达一直致力于一种称为加速计算的新型计算方式。研究加速计算的核心原因是,通用计算并不适合每一个工作领域,开发一种解决通用计算不擅长问题的计算方式。“事实上,我们在特定计算领域有效地做到了这一点。这本质上是算法的可以并行化。我们已经将计算机的计算成本降低到接近零。”
黄仁勋看来,AI是被加速计算所支持,可能是技术产业中最伟大的发明。AI很可能是21世纪最重要的事物。英伟达擅长的是加速计算,但英伟达的架构不仅能加速算法,而且是可编程的,这意味着你可以用它来处理SQL,他们可以加速量子物理、加速所有的流体和粒子代码等等广泛领域,其中之一才是生成式AI。
我们需要回到基本原理,思考生成式AI是什么。以往,信息被预先记录然后根据算法进行检索,而未来,信息处理的方式将从根本上发生变化。生成式AI将从一个信息“种子”出发,计算的未来将高度依赖生成而非检索。
如果在未来,内容将是AI生成式的,那么,计算形态会发生怎样的改变?
现在我们训练模型然后应用模型,再训练、再推理,在未来,我们将有持续的训练,甚至我们可以选择是否把训练的结果部署到应用中,AI通过观看视频和文本,不断地自我改进
学习过程和训练过程。推理过程、训练过程、部署过程、应用过程将变得一体,而且这种循环将是持续的。所以,未来的AI计算机也会做类似的事情,它会合成数据,再进行强化学习,再继续以真实世界的经验为基础,它会想象一些事情,然后用真实世界的经验来测试,整个循环就是一个巨大的循环。这就是当你能够将计算成本降低到接近零时,会发生的事情。
可我们什么时候能实现AGI?黄仁勋的回答是“如果对AGI的定义是它通过人类的数学、推理、医学、律师等测试,那么我会告诉你5年内就会做得很好。如果是拥有人类般的智能,那我不确定。但我们都在努力让它变得更好。”
这就离不开芯片。那么,为了支持AI的增长,需要多少额外的芯片产能?
简单说,我们是需要更多的fab。然而,我们也在不断改进算法和处理过程,效率在时间上有了巨大的提升。并不是说计算的效率就是今天这样,因此需求就是这么多。与此同时,我每10年都在提高计算能力一百万倍,而需求却增长一万亿倍,这两者必须相互抵消。然后还有技术扩散等等,这只是时间问题,但这并不改变这样一个事实:总有一天,世界上所有的计算机都将100%地改变,每一个数据中心,价值数万亿美元的基础设施,将完全改变,然后在这之上还会建造新的基础设施。
此外,黄仁勋还提到下一个即将到来的是液冷技术。它以数据中心的规模进行计算。在未来的10年里,我们将深度学习的计算能力再提高100万倍,会发生什么在未来,我们将有持续学习。我们可以决定是否将那个持续学习的结果部署到世界上的应用中,但计算机将观察视频和新文本,并从所有互动中不断改进自己。液冷GPU将以数据中心的规模进行计算。对于未来是否愿意为一定规模的客户定制解决方案,“如果是在现有生态系统基础上扩展,我们将非常乐意。”
没有一家公司可以仅靠一股热潮就能拔地而起。在黄仁勋看来,英伟达所做的每一件事,都是在创造技术,同时创造市场。过去三十余年,英伟达向下扎根,几乎每项工作围绕技术和市场展开。同时,他们也会向上攀岩——“对于未来,我们会做更多的计算,会将计算的边际成本降低到接近零。”
正如黄仁勋曾说过的那般:“你不是为了食物而奔跑,就是为了避免成为食物而奔跑。往往你无法分辨到底是哪种情况。不管怎样,都要奔跑。”沿着AI的方向,一头算力猛兽正在狂奔,影响着“整个地球”。
Reference:
1.https://www.nvidia.cn/gtc-global/keynote/
也许你还想看:
经纬张颖:2023,不只克服困难而是习惯困难
经纬张颖内部讲话:2024,四大关键决策
经纬2023年终盘点:Adaptability is the key to thriving
微信扫码关注该文公众号作者