Redian新闻
>
AIGC 军备竞赛开启,但训练大模型存在的问题却无解?

AIGC 军备竞赛开启,但训练大模型存在的问题却无解?

公众号新闻


作者 | Chris Stokel-Walker
译者 | Sambodhi
策划 | 凌敏
生成式人工智能繁荣的背后,是令人恐惧的碳排放量。

今年二月初,谷歌和微软先后宣布了对其搜索引擎进行重大变革。这两家科技巨头都在构建或购买生成式人工智能工具上投入了大量资金,这些工具利用大型语言模型来理解并回应复杂问题。现在他们正尝试将这些工具整合到搜索中,期望能够为用户带来更加丰富和精准的使用体验。中国的搜索引擎公司百度已经宣布,他们也会跟进。

但是,人们对新工具的欣喜若狂,却隐藏了一个不可告人的秘密。为了打造高性能、人工智能驱动的搜索引擎,这场竞赛将会要求大量的计算能力,同时也会导致科技公司的能耗和碳排放量的大幅增长。

英国萨里大学(University of Surrey)网络安全教授艾伦·伍德沃德(Alan Woodward)表示:“我们已经投入了大量的人力物力来进行索引和搜索互联网内容,但要将人工智能纳入其中,就必须要有多重方法。这要求具备数据处理、存储和高效检索的功能。无论何时,只要我们看到一个在线处理过程的改变,我们就会发现,对于大型处理中心,需要的电能和制冷资源都会有很大的增长。我想,这是一个很好的步骤。”

训练大型语言模型(Large Language Model,LLM),例如那些支撑 OpenAI 的 ChatGPT 的模型,它将为微软增强版必应搜索引擎和谷歌的同类产品 Bard 提供强大的支持,这就意味着可以分析并处理海量数据,这也是为何它们通常都是拥有可观资源的宫锁所开发的原因。

“训练这些模型需要大量的计算能力,”西班牙科鲁尼亚大学(University of Coruña)的计算机科学家卡洛斯·戈麦斯 - 罗德里格斯(Carlos Gómez-Rodríguez)说,“目前,只有大型科技公司才能训练它们。”

尽管 OpenAI 和谷歌都没有透露其产品的计算成本费用,但是第三方的研究者分析认为,ChatGPT 部分基于的 GPT-3 的训练所耗费的功率为 1287 兆瓦,所产生的的碳排放量超过 550 吨,相当于一个人在纽约和旧金山之间往返 550 次的碳排放量。

戈麦斯 - 罗德里格斯说:“这并没有那么糟糕,但你必须考虑到这个事实:你不仅要训练它,还要执行它,为数百万用户提供服务。”

将 ChatGPT 作为独立产品使用,与将其整合到每天处理约 5 亿次搜索的必应中,也是有很大区别的。据瑞银估计,ChatGPT 每天约有 1300 万用户。

加拿大数据中心公司 QScale 的联合创始人马丁·布沙尔(Martin Bouchard)认为,根据他对微软和谷歌搜索计划的解读,在这一过程中加入生成式人工智能至少需要“每次搜索至少四到五倍的计算”。他指出,ChatGPT 目前在 2021 年底停止对世界的理解,作为削减计算需求的尝试的一部分。

为了满足搜索引擎用户的需求,这种情况必须改变。“如果他们要经常重新训练模型,并添加更多的参数和东西,那就是一个完全不同的规模的事情了。”他说。

这就要求在硬件方面投入大量的资金。“当前的数据中心以及我们现有的基础设施都无法与生成式人工智能进行竞赛,”布沙尔说,“这太过分了。”

根据国际能源署(International Energy Agency)的数据,数据中心的温室气体排放量已经占到全球总排放量的 1% 左右。由于对云计算的需求不断增加,这个数据会有所增加,但是运营搜索业务的公司已承诺要降低他们在全球变暖的净贡献。

戈麦斯 - 罗德里格斯表示:“这肯定没有运输业或纺织业那么糟糕。但是,人工智能对碳排放的影响很大。”

微软承诺到 2050 年实现负碳排放。该公司计划在今年购买价值 150 万公吨的碳信用额度。谷歌已承诺到 2030 年在全业务和全产业链上达到净零排放。OpenAI 和微软均未对此承诺置评。

将人工智能整合到搜索中的环境足迹和能源成本,可以通过将数据中心转移到更的能源来源,以及通过重新设计神经网络以提高效率,减少所谓的“推理时间”(一种算法处理新数据所需的计算能力)来降低。

“我们必须研究如何减少这种大型模型所需的推理时间,”该谢菲尔德大学(University of Sheffield)自然语言处理讲师纳菲斯·萨达特·穆萨维(Nafise Sadat Moosavi)表示。“现在是专注于效率方面的好时机。”

谷歌发言人简·帕克(Jane Park)告诉 WIRED,谷歌最初发布的 Bard 版本是由一个更轻量级的大型语言模型驱动的。

“我们还发表了研究报告,详细介绍了最先进的语言模型的能源成本,包括较早和较大的 LaMDA 版本,”帕克说。“我们的研究结果表明,将高效模型、处理器和数据中心与能源相结合,可以将机器学习系统的碳足迹降低 1000 倍。

问题在于,对于谷歌来说,要想提高一点搜索准确率,就必须要增加更多的计算量和不必要的麻烦,这是否值得。但穆萨维说,尽管重视 LLM 所产生的能耗和碳排放的总量是非常重要的,但是还是要有一些观点。

“这对最终用户来说真是太好了,”她说,“因为以前的大型语言模型并不是所有人都能使用的。”

作者简介:

Chris Stokel-Walker,自由撰稿人、WIRED 撰稿人。

原文链接:

https://www.wired.com/story/the-generative-ai-search-race-has-a-dirty-secret/

文章版权归极客邦科技 InfoQ 所有,未经许可不得转载。

你也「在看」吗? 👇

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
“幼升小offer大满贯”?!背后是中产的军备竞赛……HIR哈佛国际评论竞赛开启报名!美国资深大学教授开班啦!华为盘古大模型亮相,但号称万亿训练量的NLP模型却失望缺席……全美“明日之星”选拔赛开启,难得的星途之门打开!不想被白嫖了,Reddit 将向 OpenAI 、谷歌等公司收取 API 费用,后者一直免费用其聊天内容训练大模型新竞赛开启!美中遥遥领先——除了蓝兔子,还画了很多禽兽一条斜杠“/”问世!国内大厂的AI军备竞赛正式来到应用层面2023John Locke竞赛开启!往届最高奖得主亲述:这些坑千万别踩...网易伏羲中文预训练大模型“玉言”问鼎中文语言评测分类冠军:参数达 110 亿,浪潮提供 AI 算力支持对话 APUS 李涛:全面转型做 AI,蒸馏法训练大模型,沉淀中小模型生育率下降并非无解?人口增长与创新正相关傅国涌:教育不是军备竞赛,要学会留白CVPR 2023 | 可扩展的视频基础模型预训练范式:训练出首个十亿参数量视频自监督大模型刚刚!腾讯重磅宣布,华为也有大消息!9000亿巨头"杀疯了","军备竞赛"打响?【广发策略】OpenAI发布预训练大模型GPT-4—新兴产业景气扫描(3月第2期)谷歌将推新版大模型;抖音发布AIGC平台规范;宇视推出行业大模型 | AIGC日报Weight & Biases:大模型军备竞赛的受益者,AI领域的Datadog冲藤必备!John Locke论文竞赛开题,今年又有哪些新变化?字节加入ChatGPT军备竞赛:TikTok产品技术负带队,曾任百度搜索部首席架构师美国著名博物馆你去过多少?(一)谷歌模型支持手机上跑Stable Diffusion;普华永道砸10亿美元投资AIGC;天翼云将推出大模型丨AIGC大事日报学完书本科学知识需上劳动大学孕育之难:女性与企业的博弈是否无解?ChatGPT:受惊骇的巨头们与焦虑中的军备竞赛0门槛商赛开启!罗兰贝格、贝恩...商赛开始报名!G5同学喊你来组队【全国赛事】“融贯古今”全国大学生翻译百科知识竞赛开始报名!无报名费,万元奖金奖品等你来拿!ChatGPT背后大模型如何高效训练?京东探索研究院、悉大、中科大60页论文详述五大类训练方法下一代3D封装竞赛开打李志飞:关于GPT-4的八点观察,多模态大模型竞赛开始从BERT到ChatGPT,百页综述梳理预训练大模型演变史哈哈,狗尾续貂,写一篇军挎。。罗振宇:「学分银行」会存入你的每一分努力,未来的学习军备竞赛无人幸免|看见2033老鬼 | 哥哥青柯社安制度、联邦医保快破产 无解?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。