中国企业“带着镣铐”混战大模型
立即订阅▲收听音频
中国大模型们在基建上的先天不足，使得他们在这场全球的大模型乱斗中，只好带着镣铐跳舞。
从百度的文心一言开始，到科大讯飞发布的星火大模型，最近两个月，中国企业陆续发布的大模型已经超过了10个。
互联网有记忆，这种阵仗，人们在之前的元宇宙看过，在更之前的“社区团购”见过，在更古早的“百团大战”（互联网企业入局团购）也见过。
它们都有一个共通点，企业们一拥而上，然后疯狂烧钱。
2022年3月，英伟达推出最顶级的GPU芯片H100，在官网的参数介绍中，它特别提到，该芯片可以提升训练大模型的速度超过30倍。
面对“后辈”，A100仅在频率和带宽上稍微弱于H100，依然是大模型训练的主力芯片。
涨价原因不言而喻，全球范围内众多巨头和创业者，纷纷加入到大语言模型的研发和训练中，导致市场对它们的需求量不断攀升，价格也因此水涨船高。
但当这股热潮刮到中国，中国的企业面临着一个更严峻的问题。
早在去年8月，美国发布政策，禁止英伟达将A100、H100两款AI芯片售往中国。
为了绕过封锁，英伟达对这两块芯片进行了降频和封锁部分传输通路的处理，最终两款阉割版的H800和A800芯片被单独出口到中国。
与常规H100 PCIe 型号的600GB/s带宽相比，H800的双向芯片到芯片互连带宽速度仅为300GB/s；A800的芯片间互连带宽从A100型号的600GB/s 降至400GB/s。
这意味着，这两款芯片的功力只有原版的六成左右，相当于是原版的平替。
大语言模型训练好比训练孩子读书，带宽的降速相当于教学进度落后于人，累积下来，最后差的就不止一星半点。
一位硅谷创业者告诉小巴，“国内企业使用综合性能只有6—7成的简配版芯片来部署大模型，意味着需要为相应的模型，配备超过20%—30%的芯片和服务器，才能达到美国企业水平。”
巧妇难为无米之炊，中国大模型们在基建上的先天不足，使得他们在这场全球的大模型乱斗中，只能“带着镣铐跳舞”。
从这个角度上说，如今国内企业在发布大模型之后，就敢公开提供公众测试的平台，说明他们的投入还算到位，而那些用PPT发布模型后无法测试，哪怕开放测试申请却迟迟得不到通过的大模型，可能在保证自家大模型运转的核心资源投入上存在重大问题。
抓住老鼠就是好猫
但企业们也并非没有应对之策。
一方面，资金雄厚的企业开始疯抢市场上能买到的A100、H100原版芯片，买不到就开始抢A800和H800的低配版芯片。
另一方面，就是抓紧用国产替代来弥补。
百度的昆仑芯片，已经有英伟达A100超过8成的能力；阿里的含光800专用AI芯片，2019年就已经出世，而且在阿里自身架构基础上，这颗芯片能超过英伟达同期GPU芯片4颗并行的水平；而华为AI芯片昇腾910已经做到接近A100水平，下半年要发布的920业内普遍预计会超过A100。
关键，这些大平台的芯片都是跟自己的系统和技术深度捆绑，可以发挥出100%的性能，是最适合他们建设大模型的基础。
还有一个求生通道，就是把精力都投入到对大模型技术优化和参数优化的过程中。
说得专业点，就是加速大模型对于知识的收集和数据的处理，说得通俗点，就是想办法让自己的“大模型”学得更快。
李彦宏曾在“文心一言”发布会上表示：百度是用国外企业1/4—1/5的训练量，完成了跟国外企业水平差不多的大模型培养。
例如，为了支持千亿参数模型的高效分布式训练，百度专门研发了4D混合并行技术，利用软硬件的协调大大提升了大模型学习的效率，而为了加快大模型的学习，降低使用和培训的成本，百度专门针对大模型数据开发了知识增强、检索增强和对话增强的技术。
TO B为王
5月10日，在一年一度的谷歌年度开发者大会Google I/O 2023上，谷歌首席执行官桑达尔・皮查伊信心满满地为所有到场观众端出了一个丰盛大餐，那就是自己对标GPT-4的大模型PaLM 2。
在OpenAI的ChatGPT一炮而红前，业内都认为谷歌是最有希望在大模型上做出突破的科技企业，毕竟2017年由谷歌提出的transformer架构，是绝大多数现代大语言模型的基石。
但谷歌这次推出大模型也给人一种着急上马的感觉，许多功能还在实验室阶段就已经开了发布会。
这同样也暴露了当下大模型普遍面临的另一个困境——单靠技术使用服务费或会员费，无法弥补每年需要投入的庞大成本，因而只能在流量变现上下功夫。
除此之外，全球大模型的开发方还有一个共识，大模型真正有效的商业模式，应该从B端市场切入，通过建立专业大模型帮助企业完成发展，从而稳定获得收入。
这里，就有中国企业的大机会。
众所周知，大模型的成长和训练需要大量数据的支持。目前不论是ChatGPT还是谷歌的Bard，他们都是在通用大模型领域取得了领先优势，其背后都是通过搜索引擎带来的庞大数据进行训练的，细分到具体行业，相应的数据量和数据活跃度，并没有达到用户真正的需求。
这意味着在很多行业，通用大模型其实专业度不够，无法立马在行业实现应用。
中国由于特殊国情，在各个行业都拥有着广超美国乃至世界其他国家的数据积累，而且这些数据天然具备跟海外大模型隔离的环境。
这就是为什么华为干脆没有推出通用大模型，而是直接发布七个行业大模型的原因。
同样看到这样机会的不仅仅是华为，从百度到阿里抑或是刚刚推出星火大模型的科大讯飞，这些中国厂商都无一例外紧锣密鼓地展开了对行业数据的争夺和行业客户的开发。
相关消息显示，百度已经在跟长安汽车合作，推动文心大模型在汽车生产领域、自动驾驶领域的落地。虽然详细内容由于各家大模型公司都在等待合规办法的落地而不能透露，但依照知情人士透露，我们对这件事可以抱有一个正向预期。
再比如百度智能云与百图生科联合构建了异构生物超算平台，训练了一个千亿规模的生物医药大模型，不仅承载了百图生科创新免疫调控药物ImmuBot的研发，也驱动了生物医药公司利用这个大模型直接实现蛋白设计。
还有阿里云与中石油旗下的昆仑数智共同推动大模型在石油领域的应用，相关行业模型的训练接近完成，后续的服务准备在一个月内陆续推出。
目前相应的B端探索中国企业远远走在了前面，而由于这些行业的数据封闭性和规模的体现，让这些企业搭建的大模型能在投入较少的资金和成本的基础上，实现一个最大化的成果。
讲了多年的“数实融合才是经济发展的真正基石”，这句话，放到当下大模型异常火爆的现实中，依然具备指导意义。
OpenAI创始人曾这样形容ChatGPT的出现：他并不清楚ChatGPT3.5是如何实现跨越的……那像是一个美丽的误会，而他们能做的就是不断为这样的大模型培养提供资源，软件硬件都算。
这个“不断”背后的数字，是不到三年内，OpenAI烧光了180亿美元，ChatGPT3.5每次训练的成本高达1200万美元，而ChatGPT4的训练成本更是高达5000万美元以上。
其实就是一个科技版“大力出奇迹”的故事，而历史经验和企业们各自的举措似乎在暗示我们，中国企业总是能在“巧力”上创造意想不到的奇迹，至于这股巧力能否在这一次走得通，是未来留给我们的新悬念。
本篇作者 | 胡八一 | 当值编辑 | 杨帅
主编 | 何梦飞 | 图源 | VCG
凯恩斯大师营招生中，超级会员免费学习
读懂凯恩斯，寻求关于就业、经济增长的启示
点击下图▼立即报名
微信扫码关注该文公众号作者