AI模型“越大越好”的时代即将终结
关注官方服务号economistgbr（经济学人全球商业评论）回复“学生订阅”，了解更多相关信息。订阅/福利相关咨询，请添加【商论小助理】微信ID：ecogbr
”
如果Epoch AI有关每十个月算力翻番的估算是正确的，那么到2026年，训练成本可能会超过十亿美元——假设模型没有先把数据消耗殆尽的话。模型越大，运行成本就越高。因此，业界许多人认为这种“越大越好”的方法快要行不通了。如果要继续改进AI模型，它们的开发者将需要解决如何以更少的资源实现更高性能的问题。正如OpenAI创始人阿尔特曼4月在回顾巨型AI的发展历程时所说：“我认为我们正处在一个时代的尽头。”《经济学人•商论》最新深度文章分析云计算巨头的利润大战。
《经济学人·商论》2022-07-10
The bigger-is-better approach to AI is running out of road
美国研究实验室OpenAI开发的大热聊天机器人ChatGPT的底层技术GPT属于“大语言模型”（LLM），这类模型的秘诀就在一个“大”字。现代AI系统由庞大的人工神经网络驱动，这些网络就是一个个非常粗略地模仿生物大脑的软件。2020年发布的大语言模型GPT-3是个庞然大物。它有1750亿个“参数”即这些神经元之间的模拟连接。对它的训练使用了几千个GPU（擅长AI工作的专用芯片）在短短几周内处理了数千亿字的文本。所有这些据信已经花费了至少460万美元。
然而，现代AI研究中一以贯之的结论却是，虽然大就是好，但越大越好。因此，模型一直在以惊人的速度变大。今年3月发布的GPT-4据信有大约一万亿个参数，是GPT-3的近六倍。OpenAI的老板山姆·阿尔特曼（Sam Altman）称它的开发成本突破了一亿美元。整个行业都存在着类似的趋势。研究公司Epoch AI曾在2022年估算，训练一个尖端模型所需的算力每六到十个月便会翻一番（见图表）。
这种“巨人症”正在成为一个问题。如果Epoch AI有关每十个月算力翻番的估算是正确的，那么到2026年，训练成本可能会超过十亿美元——假设模型没有先把数据消耗殆尽的话。去年10月发表的一项分析预测，用于训练的高质量文本的存量很可能也会在2026年前后耗尽。而且即使训练得以完成，生成的模型实际使用起来也可能很昂贵。模型越大，运行成本就越高。今年早些时候，摩根士丹利估计，如果谷歌把一半的搜索交给目前的类GPT程序处理，那么它每年可能会多花60亿。随着模型越来越大，这笔费用可能还会上升。... ...
欢迎打开商论App订阅后阅读完整文章
欢迎在商论中搜索关键词【深度】阅读更多本文内容
微信扫码关注该文公众号作者