Redian新闻
>
大模型圈热议“GPU贫民”:谷歌算力被曝比其他公司加起来都多,扎创业公司心了

大模型圈热议“GPU贫民”:谷歌算力被曝比其他公司加起来都多,扎创业公司心了

公众号新闻
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

一夜醒来,大模型圈都在热议一个词——“GPU贫民”(GPU-Poor)。

来自行业分析机构SemiAnalysis的一篇报告,爆料谷歌拥有的算力资源比OpenAI、Meta、亚马逊、甲骨文和CoreWeave加起来还要多

分析师Dylan Patel预测,谷歌DeepMind联手的下一代大模型Gemini,到年底训练量将碾压(Smash)GPT-4达到后者5倍

报告提出在这种压倒性的优势面前,大部分创业公司和开源势力都成了“GPU贫民”,在用有限的资源苦苦挣扎。

这个既扎眼又扎心的说法迅速成为新梗,在行业里流传开来。

上次这么火的梗还是“没有护城河”。巧了,也是同一位作者搞出来的,另外GPT-4内部架构细节大曝光也是他干的。

被点名的开源扛把子HuggingFace联合创始人Julien Chaumond表示:不要小看我们贫民啊。

也有人代表学生在线吐槽:金钱上穷,算力上也穷,说的就是我们博士生了。

正致力于让手机跑大模型的知名学者陈天奇表示,未来每个人都会拥有自己的AI助手,其中大多数人都会是“GPU贫民”,但不要低估合起来的总量。

也有不少人认为,抛开争议性的内容和大部分内容收费不谈,这篇报告的免费前言部分就是对大模型行业现状的一个很好的批评和总结。

“GPU贫民”在做无用功

报告下笔很不留情,直言很多创业公司在GPU匮乏情况下花费大量时间精力做的事,都是无用功

比如很多人热衷使用大模型的输出微调小模型,然后去刷排行榜,但是评估方法不完善,更注重风格而不是准确性或实用性

报告还认为各种测量标准不完善的排行榜本身,也是对小公司的误导,由此产生一大批不实用的模型,对开源运动也是一种伤害

另一方面,GPU贫民们反而对资源的利用效率不高,大多使用密集模型,主要基于开源的羊驼生态。

但是OpenAI谷歌这些巨头已经在玩MoE架构这样的稀疏模型,以及利用小模型投机采样 (speculative decoding)提高推理效率了,完全是两个游戏

作者希望GPU贫民们不应该过度限制模型规模以及过度量化,而忽视模型质量下降。应该专注于在共享的基础设施上高效地提供微调模型,减少延迟和内存带宽需求,满足边缘计算的需求

看到这里,也有人提出不同意见,认为创造性的突破往往正是来自有限制的环境,这反而是某种优势。

但Perplexity.AI联合创始人Aravind Srinivas认为,GPU丰富的组织实际也会投资于带限制条件的研究。

并且要找到下一个像Transformer这样的突破,需要成千上万次的实验,要求的资源绝对不低。

“GPU土豪”的游戏怎么玩

那么GPU平民的另一面,谷歌这个“GPU土豪”在做什么呢?。

严格来说,谷歌算力不是GPU而是自家TPU。报告认为虽然TPUv5单体性能不如英伟达H100,但是谷歌有最高效的基础设施架构。

谷歌大脑与DeepMind合并后,联手训练对标GPT-4的Gemini大模型。

由前DeepMind两位研究VP Koray KavukcuogluOriol Vinyals和前谷歌大脑掌门人Jeff Dean共同领导百人团队。

根据多方爆料,Gemini预计年内就会发布,更准确的来说是美国的秋季范围之内(9月23日-12月21日)

Gemini将整合大模型与AI图像生成的能力,使用Youtube上93.6亿分钟的视频字幕训练,总数据集大小据估计是GPT-4的两倍。

前DeepMind创始人Hassabis曾透露,Gemini将结合AlphaGo类型系统的一些能力和“其他非常有趣的创新”。

另外谷歌创始人布林也一直在亲自参与Gemini研发,包括对模型做评估并协助训练。

关于Gemini更具体的消息还不多,但是有人推测也将与GPT-4一样使用MoE架构和投机采样技术

8月初Google DeepMind发表的新论文From Sparse to Soft Mixtures of Experts被认为可能与Gemini相关。

投机采样能在不损失生成质量的前提下,让Transformer大模型获得2-3倍的推理加速。

具体来说是让小模型生成提前生成一些token并让大模型做评判,如果接受就让大模型生成下一个token再重复第一步,如果小模型生成的质量不高再换用大模型。

谷歌一方的投机采样论文在2022年11月才发表,但之前的爆料认为GPT-4也用了类似的技术。

实际上投机采样技术的前身Blockwise Parallel Decoding也来自谷歌,作者中包括Transformer作者中的Noam Shazeer

Noam Shazeer这个人在谷歌时同时参与了Transformer、MoE和投机采样的研究,对今天的大模型来说都至关重要,另外他还参与了T5、LaMDA和PaLM等多个大模型研究。

SemiAnalysis的报告中还讲了他的一个八卦。

早在GPT-2时代Noam Shazeer就在谷歌写了一份内部备忘录,预测了未来大模型将以各种方式融入人们的生活,但当时这个观点并未被谷歌重视。

现在看来,他预测的很多事都在ChatGPT发布后真实发生了。

不过Noam Shazeer在2021年就离开谷歌创办了Character.ai,按照这篇报告的说法,他现在也是“GPU贫民”的一份子。

参考链接:
[1]
https://www.semianalysis.com/p/google-gemini-eats-the-world-gemini
[2]https://x.com/dylan522p/status/1695956854344749234
[3]https://x.com/AravSrinivas/status/1696182301934395486
[4]https://arxiv.org/abs/2211.17192

「AIGC+垂直领域社群」

招募中!

欢迎关注AIGC的伙伴们加入AIGC+垂直领域社群,一起学习、探索、创新AIGC!

请备注您想加入的垂直领域「教育」或「广告营销」,加入AIGC人才社群请备注「人才」&「姓名-公司-职位」。


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
全球GPU缺口超40万张!算力之困,中国大模型有解了沁园春 题在六月侵吞全球算力!谷歌Gemini被曝算力达GPT-4五倍,手握TPU王牌碾压OpenAI谷歌 CEO:谷歌 25 周岁,搜索仍是核心,AI 是最大变革一家创业公司“赶考”大模型140天:争吵、奔跑、新内卷小模型如何比肩大模型,北理工发布明德大模型MindLLM,小模型潜力巨大酒店推“楼梯间房”,国庆期间650元/晚!​客服:比其他房型便宜不少大模型变“小”:黑马天启开创AI模型“重度垂直”新思路,入选北京大模型行业应用典型案例双林奇案录第三部之川黔连环案: 第三十七节[日签] ​想成功的决心,比其他任何事情都重要亚当斯拟在中央公园展望公园及其他公共绿地建移民帐篷首阳,公安局报备,出关后的小纸条-回国行(二)斯坦福博士独作!大模型训练速度再翻倍,还官宣加入明星创业公司当首席科学家日本比其他任何地方都老得更快,但它正在学习如何应对性能超越Llama2-13B,可免费商用,姚星创业公司开源百亿参数通用大模型粽子百度华为阿里等入选大模型“国家队”;盘古大模型3.0发布;阿里云推AI绘画大模型丨AIGC大事日报开源大模型有望迎接“安卓时刻”,创业公司如何抓住机遇? | 榕汇实战分享现多伦多交通付费很方便了,GO和其他公交都可用借记卡打卡付费。DeepMind推出AI图像识别工具;华为Mate 60 Pro接入盘古大模型;传谷歌Gemini算力达GPT-4五倍谷歌证实大模型能顿悟,特殊方法能让模型快速泛化,或将打破大模型黑箱澳洲华人区幼儿园突然倒闭!引发华人圈热议...蚂蚁原副总裁漆远创业公司被曝all in大模型,原方向AI制药不做了Llama 2高调开源颠覆大模型圈!2万亿token训练,打不过GPT3.5同样申请日本移民,“落户”东京的门槛,会比其他小城市更高吗?突然官宣!悉大墨大暴涨录取门槛!QS排名后,澳洲留学生数暴涨创历史!全球1/10好大学在澳洲,留学圈热议...国产大算力GPU如何解决大模型落地挑战 | 壁仞科技系统架构副总裁丁云帆演讲预告税收大利好,创投圈热议!码农就业比其他专业好?!还是新天坑?谷歌Google山景城访客体验中心,10月12日全新启航~ 超多项目:谷歌商店、咖啡厅、艺术节,人人可参加!租2000张芯片做大模型:一家创业公司的生死抉择吉利将推自研大模型;OpenAI提交GPT-5商标申请;谷歌助手拟引入大模型丨AIGC大事日报西加勒比海豪华游轮之旅 8重磅!澳洲中国留学生成QS前百名校校长!全球华人圈热议!多个中国人成世界名校校长,澳洲校长纷纷中文拜年...略骄傲啦~国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。