▲ 点击订阅，抓住风口
你好，我是王煜全，这里是王煜全要闻评论。
最近，Sohu芯片火了。别误会，此Sohu非彼搜狐，而是由两位哈佛大学辍学的学生创立的公司Etched，所推出的芯片，代号为Sohu。
据称，一台搭载8块Sohu的服务器，性能可媲美160块英伟达的H100芯片，速度整整快了20倍！Sohu在处理700亿参数的Llama 3模型时，其吞吐量竟高达每秒50万tokens，大概相当于每两秒生成一本西游记。创始人之一Gavin Uberti自信满满地表示，在Transformer领域，Sohu绝对是速度之王。
所以，资本也是比较追捧，继去年6月份完成500多万美元的种子轮融资后，最近他们又完成了1.2亿美元的A轮融资（约合8亿元人民币）。年轻的哈佛大学辍学学生，两年内推出了性能碾压英伟达的芯片，并获得了高额融资，这简直是最好的创新神话。。
Gavin Uberti（中间）
然而，如果你冷静下来细品，Sohu芯片虽火，但要真正“击败”英伟达，恐怕还有很长的路要走。
Sohu属于ASIC芯片（Application Specific Integrated Circuit），即特定用途集成电路，为特定任务而生的。当年比特币挖矿还很火的时候，很多人就开始使用ASIC芯片了，而不是英伟达的GPU。
Etched公司也做了相关说明：他们是“将Transformer网络架构烧录到芯片里”，实现了三倍于英伟达GPU的FLOPS利用率，以及Transformer推理速度的飞跃，让Sohu在算力和功耗等方面均展现出超越传统GPU的卓越性能。这就像长期专注于某一领域的专家（ASIC芯片），其工作效率必然远胜于杂而不精的通才（GPU）。
但问题来了，为什么英伟达不涉足ASIC领域呢？
首先，我们需要明确，AI芯片被分为训练芯片和推理芯片。训练芯片注重绝对的计算能力和精度，需要具有一定的通用性。英伟达的GPU就是训练芯片的典型代表。推理芯片则更看重能效、时延和成本等综合指标，而且可以具有一定的专用性。今天所介绍的sohu芯片，就是典型的推理芯片。当然，英伟达GPU也可以用于推理。很明显，现阶段大模型的训练需求正在井喷，未来随着文生视频、多模态大模型的普及，训练芯片、也就是英伟达GPU的需求还会持续爆发。而且，把ASIC芯片用于AI领域，并非Etched首创。今年2月，初创公司Groq就用自研的LPU芯片（Language Processing Units），其文本生成推理速度较GPU飙升十倍，而能耗却骤降至十分之一。当然，最著名的，莫过于谷歌2013年研发的TPU（Tensor Processing Unit），专为机器学习量身打造，据称在神经网络计算方面展现出了显著优于英伟达GPU的性能。而且，TPU可以用于AI大模型的训练。
此外，比较著名的，还有特斯拉的Dojo芯片、微软的Maia 100等等。而且如Meta、OpenAI、亚马逊AWS等等都纷纷表态在自研AI芯片，大概率也是定制化的芯片。但是，需要注意的是，虽然有自研芯片，这些巨头仍然需要购买大量的英伟达GPU。可见，Etched不仅伤害不到英伟达，而且强者环伺，挑战重重。Etched的创新之处，头部企业其实很快就能学去。也就是说，这是典型的产业增强型创新，而不是产业颠覆式的创新。所以，下次再有芯片公司宣称可以颠覆英伟达，我们需要从两个维度审慎考量。第一，要看这家公司能否突破或绕过英伟达的CUDA平台，抢占数据中心业务。很显然，目前即便是AMD、英特尔等芯片巨头也做不到。英伟达同时仍在通过持续高投入，不断推出一系列加速库和工具，不断优化CUDA平台。第二，要看这家公司能否在高速互联技术上取得突破，从而能够构建大规模的数据中心。英伟达的NVLink技术传输速度远超同行水平，可以让成千上万个GPU连在一起协同工作。最关键的是，英伟达的技术是经过大量工程实践验证的，运行稳定，大大降低了训练中断的风险。我曾说过，在各大公司都强调平台的实战性、争分夺秒抢夺算力的当下，英伟达的GPU就相当于AK47，虽然可能打得没那么准，但不卡弹、皮实耐用，一定是大家的首选。但我更想强调的是，对于中国的芯片产业，sohu芯片给了我们两点启示。首先，ASIC芯片可以是中国厂商的发力点，作为解决AI算力短缺的一剂良药。寒武纪、地平线以及阿里的平头哥都在不同领域发布了ASIC芯片。当然，虽然ASIC的理论性能远高于GPU，但初始投入巨大，失败概率较高，仍然是有一定难度的。其次，更重要的是，AI芯片这个弯道已经显现，中国芯片产业应该围绕AI芯片尽快形成产业生态，实现“弯道超车”。我曾提出过“产业生态的木桶原理”，即在新产业出现之初，不要总想着另辟蹊径，把某个长板做得特别长，而是应该让一堆短板一同协作，一起长成长板。科技是这个时代最大的红利。相信你也是关心中国科技产业发展、希望有所作为的弄潮儿。把握机会，贵在前瞻性的分析。我们在过去8年，积累了系统且经过事实验证的科技产业分析体系，一定会对你有所帮助，欢迎前来学习探讨，先人一步、看清未来。以上就是今天的内容，更多详细的产业分析和底层逻辑，我会在科技特训营里分享，欢迎关注全球风口微信号，报名加入。
王煜全要闻评论，我们明天见。
我们还整理了一份清单“英伟达投资的9大初创公司”，请你扫描下方二维码加入微信群，就会获得这份清单。
清单每天更新，所以请跟上全球风口的节奏；如果想要所有行业清单，扫码加入科技特训营，分分钟尽在掌握！【科技特训营】全新的会员订阅制线上书院模式，全年50次“在线直播课程+私享群互动”，你随时可以加入、我持续保持更新！一起互动，伴随成长！让我们为未来五年做好准备，一起探讨把握机遇，决胜未来！长按扫描二维码加入科技特训营，可观看所有直播和回放。
【哨科技特训营第四季】
1. 前哨科技特训营直播课程第四季（2024年）共50讲+，除此之外还有5节加餐+公开课。2. 每讲承诺为1小时视频内容，实际平均时长为2小时。3. 每周四晚八点准时直播，会员在一年学习期内可无限次观看回放。4. 新入会员，在一年学习期内可以无限次回看之前所有视频课程。5.优先获取全球科技产业一线游学、访问机会，接触科技/产业专家，获取最新、最前沿的趋势洞察，人脉链接6. 本课程为虚拟内容服务，年费订阅服务制。一经订阅概不退款，线下活动需另行支付差旅成本，请您理解。
