硅谷AI考察报告
1 大模型的底层技术与算力需求
第一，GPT大模型的底层技术是谷歌的TransFormer，其核心的意义在于给定前文后推理出下一个最有可能的字符来进行输出，一些巨头的基础大模型差别在于解码单向结构还是编解码双向结构。ChatGPT可以支持对前文32000个字符分析再推理出下一个字，这已经是一个非常庞大的数量级，且ChatGPT只允许根据前文分析推理不允许加入后文来分析推理（decoder only）。谷歌最先推出的大模型Bard是前后文都可以用来分析推理（编解码双向结构），但后来改成与ChatGPT类似只能用前文推理的PaLM大模型，可能最终还是这种模式更接近于我们人类语言的方式。
第二，大模型本质上更像依赖AI基础设施的“炼丹”，是推理并不是认知;目前视频生成受制于对基础设施的高要求仍存在一定局限性。虽ChatGPT在QA、总结等领域表现令人震惊，但实际上还是推理而不是认知，包括生成图片其实本质上也是生成文本，但是在生成视频上AI推理难度很大，因为视频的每帧都是大量图片，需要非常强大的AI基础设施去支撑。形象地说，大模型训练就像炼丹，AI基础设施越好火力越旺，但是一开始都不知道大模型到底有没有用，有一定的运气的成分在里面。
第三，大模型后来者的追赶难度并没有大家想象那么大，中国大模型追赶海外也会比较快。OpenAI本身并不是技术绝对领先于其他科技巨头，核心在于专注于TransForemer往通用人工智能方向发展，而微软、谷歌、Meta都有很多赚钱的业务不太重视大模型。OpenAI做出来之后大公司发现AI有前途，自己资源更好肯定会加紧追赶。硅谷专家预测6个月到1年以后，全球大厂大模型水平基本看齐。中国大模型追赶海外也会比较快，中国本身是一个很好的市场，现在大模型所有的技术大家都了解，无非就是资源的集中堆积。OpenAI做这么好都“委身”给微软，本身就是因为训练太花钱。
第四，海外AI巨头算力储备A100芯片基本在50万片以上的量级，英伟达在把算力资源向云服务方向发展，同时也在布局自身大模型。目前海外巨头平均A100量级估计在50万片以上，H100可能每家一两百张，六七月份才能大规模上线。英伟达的实际优势是软硬件结合，它的硬件上面有一层框架tensor RT，英伟达有几百人的工程设计团队做框架，比如pytorch必须有Tensor RT才能跑，这个中间层软件一般硬件公司写不了。英伟达不止做硬件，做Tensor RT还要做下层的基础设施，未来英伟达有望形成一个云品牌，同时自己也在布局大模型，可能会对整个AI生态造成极大影响。
第五，推理芯片的市场远大于训练芯片，甚至也远大于训练市场加上云端推理市场的总和，中国在边缘AI算力市场空间非常大。边缘计算应用于物联网等小设备对制程要求不高，现在市场的格局分散，而推理芯片的市场远大于训练芯片，甚至也远大于训练市场加上云端推理市场的总和，中国可以借助自己的制造业优势，把物联网这一块的制程降低，然后专用一点的这种小体量低算力的AI推理芯片推向市场，这是巨大机会。其实终端设备的体量是极大的，世界上能够提供云服务的提供商，数据中心的量跟海量的终端设备的数量比，芯片需求也还是很小的，大概就是2/8的比例。
在大模型的底层技术与算力需求方面，我们认为：
2、GPU芯片的市场格局或将发生变化，在微软等巨头的强力支持下，AMD较为薄弱的软件生态有望取得长足进步，AMD将对NVIDIA形成强有力的挑战。
3、芯片是中美竞争的最大鸿沟。两国达到一个数量级的算力储备既是目前亟待解决的瓶颈，也是未来确定的投资机遇。尤其是在边缘侧推理算力，既是被低估的远超训练算力的市场，也给了中国展现制造业优势的机会。
2 关于AI行业应用
第一，大模型适用于需要一定容错率的行业，ChatGPT开始做商业化付费使用plus其实并不赚钱，核心是为了挡掉一些乱用而把成本变得过高的用户。大模型应用在要求100%准确的行业目前难度比较大，更多的是比如客服咨询、艺术创作、会议记录、写文章、数据分析等。大模型的商业化在B端已经看到成果了，比如：微软的全家桶office，减少制作时间、提升完成度、提升复购率；客服：给地产公司、医疗公司节省前端客服的成本。视频制作：一键生成visla.us只能生成demo视频等工具，就不需要找工作室了，节约人力成本。GPT4到现在只有一个半月，市场还在讨论如何应用，再过六个月能看到更多更清晰的落地。
3 大模型与垂直模型的发展趋势
第一，谷歌和微软的大模型大概率闭源，而Meta可能是最重要的开源“搅局者”。谷歌因为搜索会被大模型颠覆是没有退路的，再开源大模型就没有优势了，而且AI未来会成为重要赚钱工具，所以大概率闭源。微软则是完全依靠OpenAI，希望GPT赋能MS365 Copilot等效率办公工具和Bing搜索引擎，微软大概率也不会把AI开源。而 Meta最重要的业务是社交，AI可以作为聊天助手，Meta的思路是做出大模型然后开源，成为大模型里面的“搅局者”。比较来看，Meta的大模型1750亿参数，估计GPT4参数5000亿左右，Meta开源了超过650亿个参数的大模型，估计精确度比ChatGPT低20%左右。很多公司和学习使用Meta的开源模型做微调，在模型参数很小的基础下效果和GPT等差不多。开源的意义在于可以发动全世界上百万工程师一起参与微调。
微信扫码关注该文公众号作者