AI 热潮造成的芯片短缺有一个意料之外的救世主:区块链
本文最初发表于 Semafor 网站,由 InfoQ 中文站翻译分享。
多年以来,区块链和加密货币一直被批评,认为它是“为解决方案找问题”。
现在,一些行业内的企业家已经找到了它能够解决的问题,那就是训练 AI 模型所面临的计算能力短缺。
解决方案:无法获得图形处理器(GPU)的研究人员和创业公司可以利用基于区块链的市场,以主要供应商一部分的价格快速、轻松地获取计算能力。
比特币挖矿和其他事情刺激了对 GPU 的军备竞赛,它们需要进行计算以保持系统运行,但是去年数字货币市场崩溃后,需求出现了下滑。现在,一些 AI 公司不再简单地蚕食陷入困境的加密货币行业,而是依靠区块链来分发这些 GPU。
哥伦比亚大学的计算机科学研究生 Ishan Dhanani 就是一个新人如何通过区块链解决 GPU 短缺的范例。他想对 Meta 的 LLama2 开源 AI 模型进行微调,以便在该模型上进行实验,但是他却遇到了巨型公司已经吞噬了大部分计算能力的现实。
他无法通过市场领导者亚马逊云科技(Amazon Web Services)获得任何计算能力,而小型供应商的计算能力总是处于售罄的状态。通过哥伦比亚大学获得访问权也是一个令人头疼的问题。
于是,他找到了 Akash Network,该公司是少数几家创建了协议,以允许 GPU 所有者在区块链上出租 GPU 的公司之一,每使用一分钟的 GPU,都能赚钱取代币(token)。Dhanani 通过 Akash 以每小时 1.10 美元的价格租用了价值 1.5 万美元的 Nvidia A100。他花了大约 7 个小时完成了工作,其花费大约是一杯啤酒的钱。
像 Akash 这样的公司之所以能提供更便宜的接入服务,部分原因在于这些协议的建立就是为了独立运行,就像 Airbnb 或 Uber 的版本那样,只不过不需要这些公司收取佣金。区块链上的社区成员在代币的激励下,处理运维中的具体事务。因此,成本很低,除了 GPU 的所有者之外,没有人会从交易中获得任何可观的收入。
这些经验促使 Dhanani 同两位朋友在几个月前成立了 Agora Labs,帮助他所说的“GPU 穷人”更容易地通过区块链预定 GPU 的使用时间。他说,“不能只有 OpenAI 和 Anthropics 有能力训练和托管 ChatGPT 这样的模型”。
总部位于英国的 Gensyn 最近宣布获得了 4300 万美元的 A 轮融资,代表了风险资本对区块链未来在促进 AI 行业 GPU 使用时间销售方面的巨大信心。
根据对该公司联合创始人的采访,Gensyn 正在构建一个系统,该系统将大大简化 AI 训练的定价模式。Gensyn 会计划训练作业的总体耗时和成本,然后将任务分散到世界范围的计算机上,寻找最优惠的价格,而不是为 GPU 的使用时间付费。
这个策略涉及到一个很棘手的问题,那就是计算资源越分散,训练就越复杂。
Gensyn 联合创始人 Ben Fielding 说,当他获得深度学习博士学位时,计算资源的稀缺意味着他无法完全完成 AI 模型自动化开发的研究。
“能做这样的研究的只有谷歌和微软”,他说,“我意识到,如果我面临这样的处境,那么在这个世界上,有很多其他的人也会面临这样的处境,这意味着我们并没有像我们所能做的那样,快速迈入机器学习的未来。”
Fielding 说,AI 研究是围绕着世界上最强大的图形处理器发展起来的。但他认为,如果区块链上有一个大规模的 GPU 网络,那么 AI 模型的类型将会适应它,从而可以在范围更广的处理器上进行训练。
在 Gensyn 准备其产品时,Akash Network 表示,他们将很快推进使用区块链上的 GPU 训练第一个 AI 基础模型。创业公司 Thumper AI 正在构建一款产品,允许艺术家根据个人的作品创建自己的 AI 模型,然后出售这些模型的使用权。为此,它需要访问 GPU 以便于使用 Stable Diffusion 技术微调其专有模型。
但 Thumper 的首席执行官 Logan Cerkovnik 遇到了一个熟悉的问题:AWS 无法提供训练模型所需的 GPU。他还考察了一些较小的供应商和转售 GPU 空间的公司。但他表示,区块链解决方案是更有价值的。他说,在与数据中心供应商合作时,需要与销售人员进行对话、进行价格谈判和审查过程。但是,在 Akash 上,交易非常快捷方便。
一些为加密货币提供计算能力的公司已经开始向 AI 行业提供这些资源,比如 Foundry。该公司重新利用了主要用来挖掘比特币和其他加密货币的数据中心,并增加了 GPU 容量,以便于通过一个去中心化的平台 Bittensor 运行 AI 模型。它还允许通过 Akash 在区块链上出租 GPU。他们的加速计算工程主管 Tommy Eastman 说,“我们问自己,‘我们还能如何支撑 Foundry 拥有的去中心化的基础设施?’”
在像 Akash 这样的协议来训练 AI 模型的同时,Bittensor 也被用来运行这些模型,这个过程被称为“推理”。在 Bittensor 上,用户可以玩类似 ChatGPT 这样的聊天机器人。不同之处在于,每个提示请求都会发送给区块链上范围广泛的网络实体,它们会根据计算需求分配提示请求。选中者会收到加密货币形式的付款。
在科技领域,构建平台的人往往无法想象这些平台最终会被如何使用。Steve Jobs 可能从未想过 iPhone 促生了 Uber。Mark Zuckerberg 也可能没想到 Facebook 推进了 Zynga 诞生。
区块链背后的理念是构建一个终结所有平台的平台:一个开发新想法的终极画布,没有中心化的所有者,也不会被破坏和操纵。当然,这很理想化,也可能很天真。区块链吸引了很多不怀好意的人,他们看到了赚快钱的机会。
然而,我们看到了另外一个平台,它有一个意想不到的用例,但这似乎非常有用。具有讽刺意味的是,加密货币行业运行所需的大量计算资源几乎被视为这个行业的致命弱点。特斯拉等公司停止接受比特币的原因就在于,比特币过于耗费资源,因此会对气候变化产生巨大影响。
这个致命弱点反而可能成为加密货币的救命稻草。区块链在高效地将计算能力出售给报价最高者方面非常出色,而且几乎毫不费力。现在,生成式 AI(generative-AI)的热潮催生了一个比加密货币更耗能的新产业。而且,与加密货币不同,它不太可能在短期内放缓发展速度。
还有一个原因能够说明这一点:这不是一个快速致富的模式。加密货币最大的问题之一在于金融投机从根本上破坏了它的所有理念。人们发明了“首次代币发行(initial coin offerings)”,但是炒高再抛售(pump-and-dump)的模式立即让这一想法胎死腹中。不可兑换货币(non-fungible token,NFT)一问世,投机者就迅速抬高了价格,以至于大多数人无法参与。
这种新模式并不是为金融投机而生。大多数获取 GPU 时间的客户都将以普通货币支付,GPU 时间的市场将会始终与云供应商的收费保持一定的挂钩关系。代币主要用于后端,以促进交易并激励人们参与系统维护。
这里有一些未来长期发展的可能性。(抱歉,以下内容非常极客和理想化)。如果区块链能够更好地分配计算能力,大大降低延迟,你将会看到类似去中心化云的方案。在这种情况下,我们口袋里装的、家里放的那些功能强大的设备,都可以作为功能强大的全球计算机的一部分得到更有效的利用,所有这些设备都被整合到一个通信网络中,为我们提供持续的连接。
有些人认为,将训练 AI 模型的能力普及化是一种潜在的危险方向。人们可能会制造出恶意行为、违反版权法的模型,甚至有可能发展成危险的、失控的恶意行为者。
声明:本文为 InfoQ 翻译,未经许可禁止转载。
OpenAI“生死存亡”时刻:95% 员工或将加入微软,原 OpenAI 寻求与竞对合并?
微信扫码关注该文公众号作者