技术宅通过编写软件改变世界，而他们爱写的长文备忘录也值得一读，其中流传最广的几篇标志着计算领域的转折点——比如盖茨在1995年写的《互联网浪潮》（Internet tidal wave）启动了微软向互联网技术的转型，贝索斯在2002年发布的《API指令》（API mandate）开放了亚马逊的数字基础设施，为现代云计算铺平了道路。如今，又有一份备忘录让科技迷们津津乐道，是从谷歌内部泄露出来的，标题为《我们没有护城河》（We have no moat）。这份作者不详的备忘录详述了AI领域的惊人进展，同时质疑了有关这个瞬息万变的行业内力量平衡的一些长期存在的假定——比如所需经费不菲的AI开发会被少数资金雄厚的公司垄断。《经济学人·商论》连续一周推出AI专题系列文章，欢迎订阅阅读中英双语原文。

2022年底，与微软关联紧密的创业公司OpenAI推出由“大语言模型”（LLM）驱动的聊天机器人ChatGPT，AI一下子闯入大众视野。ChatGPT的成功促使谷歌和其他科技公司发布自家由LLM驱动的聊天机器人。这类系统利用从互联网提取的数万亿语句进行训练，能够生成文本并进行逼真的对话。训练一个大规模LLM要耗时几个月，花费数千万美元，这让人担心AI会被少数资金雄厚的公司垄断。

但谷歌的备忘录认为这种猜想是错的。它指出，开源社区里的研究人员利用免费的线上资源正在取得可媲美最大型专有模型的成果。事实证明可以运用一种名为低秩自适应（LoRa）的方法对LLM进行“微调”。这样就可以就特定任务优化一个现有的LLM，所需时间和成本远低于从零开始训练一个LLM。

3月，开源AI一下子活跃起来，当时Facebook的母公司Meta创建的模型LLaMA在网上被泄露。虽然其规模比最大的LLM小（最小的版本只有70亿个参数，相比之下，谷歌的PaLM有5400亿个参数），但已被迅速微调，在执行某些任务时能生成与ChatGPT最初版本水平相当的结果。随着开源研究人员相互借鉴各自的LLaMA成果，“一股创新大潮随之涌现。”谷歌备忘录的作者写道。

这可能对该行业的未来产生巨大影响。“模型训练和实验的门槛已从需要一个大型研究机构全力投入降低到只需要一个人、一晚上和一台性能够强大的笔记本电脑。”谷歌的备忘录声称。... ...

《经济学人·商论》2023-05-16

Large, creative AI models will transform lives and labour markets

生成式AI

大型创造性人工智能模型将改变生活和劳动力市场

它们带来了巨大的希望和危险。但它们是如何工作的？【深度】

自创造ChatGPT的公司OpenAI在2022年11月首次向公众开放聊天机器人以来，技术精英们几乎没有其他想聊的话了。在笔者撰写本文时，伦敦一家科技公司的创始人主动发来消息说，“这些天我基本上满脑子都是”这种人工智能。他说自己正在围绕它重新设计他价值数十亿美元的公司。他不是孤例。ChatGPT包含的知识比任何人都多。GPT-4是ChatGPT背后的人工神经网络，在美国的法律和医学执照考试中取得了优异的成绩。它可以生成歌曲、诗歌和散文。其他“生成式AI”模型可以大量制作数码照片、绘图和动画。

伴随这种兴奋而来的是科技行业内外的深切担忧：生成式AI模型的开发速度过快了。GPT-4是一种称为大型语言模型（LLM）的生成式AI。Alphabet、亚马逊和英伟达等科技巨头都训练了自己的LLM，把它们命名为PaLM、Megatron、Titan和Chinchilla等。

那位伦敦科技公司的老板表示，即使他也在追求运用AI，他也“对AI带来的生存威胁感到难以置信的紧张”，并且“每天都在与［其他］创始人谈论它”。美国、欧洲和中国的政府都开始考虑制定新的法规。一些知名人士呼吁暂停AI的发展，以免软件以某种方式失控并损害甚至摧毁人类社会。若你想把对这项技术的担忧或兴奋调整到恰当的程度，不妨首先了解它是怎么来的、它的工作原理，以及它发展的局限性。... ...

【付费深度文章】欢迎打开商论App，订阅后获取更多《经济学人》核心观点：

• LLM实际上是一项庞大的统计学操作——它是如何工作的？
• LLM只会以统计而非语法的方式来理解。它更像是一个算盘，而不是一个头脑
• LLM的输出并不完全可预测；OpenAI研究员已经在各种不同的LLM中统计到了137种所谓的“涌现”能力
• 涌现的能力令人兴奋，因为它们暗示了LLM尚未开发的潜力——但也可能意味着风险
• 很难判断哪些有害行为可能处于休眠状态，等待着规模扩大一点时被释放出来
• LLM的注意力网络是从如此海量的数据中学习的关键