“AI版YC”创始人：我们要如何跨越AI Hype Cycle？

Ben Thompson：上次你们二位来访是去年 10 月，那时距离 ChatGPT 在全球范围内掀起生成式 AI 的热潮只有一个月，可以说我们非常早就预见到了这个重大时刻。现在已经是 2023 年 8 月了，这次你们想做出什么样的预言？

Nat Friedman：去年 10 月的时候 Stable Diffusion 相当火爆，我们都期待人们能对文本和 Chatbot 产生更大的兴趣。后来人们对 ChatGPT 的狂热也证实了我们的观点。现在，我们正处于一个最好的时代，但同时也是最坏的时代：相较半年前，AI 初创公司的数量比以前高出 3 到 5 倍。

Ben Thompson：你们创立 AI Grant 的出发点之一是好奇做 AI 的初创公司都去哪了，毕竟 AI 技术有着巨大潜力，必须快速产业化，目前看这个问题也迅速得到了解决？

Nat Friedman：没错。不过这也导致了另外一个问题，就是 AI 领域投资人数量激增，并且现在很多人还处于一个上头的状态，可以说目前是这一波 AI 热潮周期的最高点，市场上很多炒作情绪是完全不合理的，只是在毫无价值的项目上烧钱，但这种情况中，也确实诞生了一批极佳的新产品和初创公司。整体来说，当前市场信息噪音很大，泡沫也很多，但只要小心这些新事物的陷阱，目光放长远，仍然可以找到很多有成功潜力的东西，不要把目光局限在 ChatGPT 、 Midjourney 这样已经人尽皆知的大型通用类产品。

Daniel Gross： ChatGPT 背后的技术是在 2020 年 6 月问世的，我查了一下 iPhone 推出三年后 App Store 上流行的免费 App，或许能给我们一些灵感，前十名包括 Facebook、Angry Birds Light、Words with Friends、Skype、Tap Tap Revenge、Paper Toss 等等。这些 App 有很多已经不再为人所知，但在 Angry Birds（愤怒的小鸟游戏）就像划时代的发明一样。

Ben Thompson：现在确实很难看出来有哪些项目会成为 AI 时代的 Uber 或者 Instacart ，也有可能在一年后就出现了。你觉得这场浪潮真正的起点是 ChatGPT 还是 GPT-3？如果类比到 App Store 可能我们现在的时间要更早，类似于 2009 年的 App Store ？

Daniel Gross：GPT-3 可能只是面向开发者，而非消费者，而 ChatGPT 则标志着 to C 的 AI 产品的起始。与 iPhone 首先在 C 端流行的情况不同，OpenAI 的情况是相反的。总的来说，我无法确定这样类比正不正确，在这个时间点每个人都很困惑。

英特尔创始人 Andy Grove 的一个观点是，人们在行业转型的过渡期会看不清方向，现在就是这样一个阶段。现在看起来的 big thing，未必能够长存；相反，一些现在还小的公司，以后可能会成长为有影响力的大公司。

Ben Thompson：确实，手机无疑是最直观的类比，但我不确定这样比是否合适，因为手机毕竟是硬件。从历史上来看，新技术常带来新的商机，新的用户界面是新公司涌现的机会，可能会带来新范式或全新的用户体验。

我认为 AI 更重要的一点在于，它对商业模式造成了根本性的转变。互联网时代，我们已经基本实现零消费成本，公司原本的地域限制以及各种影响都一并消失。现在尽管还有推理成本，但 AI 在信息生成方面已经趋近于零成本，我觉得这将比互联网产生更大规模的影响，只是需要时间，就像互联网的影响大于 PC 也需要更长时间才能显现。

PC 在 1982 年问世后很快就成为巨大商机，带动了强劲的销售增长。这也使得 Microsoft 成为一家高盈利公司，几乎不需要 VC 投资。但是，我还并不确定 AI 是否会和 PC 一样很快带来明显的商业价值和销售增长。Netscape 后来只是成为一段历史，像 Google、Facebook 这些真正有影响力的大公司直到 10 年后才开始崭露头角。

Daniel Gross：是的，我同意。或许我们被 History rhymes， it doesn’t repeat（历史总是相似的，但并不重复）这句话困住了。

Nat Friedman：最近半年有一个很明显的趋势是大模型和生产力场景的结合。换句话说，这些模型通过自动化，替代或强化了企业内部某些工作流程，它们的竞争对手不是软件，而是一些工作岗位，是“知识型工作者”。

例如，我们最近了解到一家名为 AutogenAI 的公司，它可以自动为政府采购中标企业递交申报材料。这给企业节省了大量时间，取代了许多以前需要顾问来做的重复性智力工作，这家公司未来会有非常广阔的应用前景，让企业有机会去申请更多项目，从而获得更高的中标机会，进而实现收入的提升，这家公司目前增长相当迅速，可以看作是一个成功案例。

个性化虚拟形象视频生成也是个很好的例子，并且这个领域已经形成一个完整的产业，人们可以在平台上定制视频，甚至插入自己的声音，比如“哈喽 Ben，我注意到你对我们的产品感兴趣，我来给你介绍下……”大概流程就是生成文本，输入进虚拟形象平台，然后生成逼真的个性化虚拟形象，将其应用于广告、个人对外沟通、培训等场景。相比过去因成本所限无法制作视频，现在这项技术这样大大降低了门槛。目前比较知名的公司有 Synthesia、D-ID、Hayden 等，它们都在这个领域表现突出，业务增长迅速。

另一个相似的是电商优化（optimizing e-commerce）领域。这个领域已经存在有一个完整的行业生态，业内的顾问、专家和公司专注于围绕产品标题和描述做搜索引擎优化（SEO），还有亚马逊登录页面的转换率优化等。现在这些专业知识正在转化为模型工具，能自动进行测试与优化，用 LLM 就可以运行，为客户带来实质经济效益，很多还能与人力团队竞争，这很有意思，因为六到九个月之前这个市场都是基本空白的。而在我刚才提到的每个细分领域中，几乎都有一家公司正在或即将通过提供产品/服务获得千万级别的收入。

Ben Thompson：突然想到一点，与我刚刚说的恰恰相反，感觉更像是 PC 爆炸式增长的实际情况。我觉得 PC 当时流行的一个重要因素在于它替代了大型计算机，使用更加便捷，导致难以回归到大型机时代，虽然大型机有时候可能是个更好的选择。

过去的会计部门都规模庞大，一大批员工通过手写账本的方式完成工作。后来随着电脑的应用，基本上整个部门都被取代了，因为电脑可以做的更好、更准确，这确实与自动撰写招标申报书的情况很相似。

另一个关于虚拟形象方面的看法是，AI 具有人性化的一面。有人分析推特为什么没能成为主流社交平台，我个人一直觉得是因为推特是文字类平台，而大多数人更喜欢语音和视频交流。过去可能有人不擅长写文案，因此被排除在部分经济活动之外，而虚拟形象技术使得交流更具包容性。

Nat Friedman：是的，目前企业内部存在大量文本类（text-to-text）工作，现在也包括文本到视频（text-to-video）工作。这些工作中有很大一部分可以通过 LLM 实现自动化、效率和产出的提升。还有一些法律科技公司正在利用 LLM 替代或增强律师助理的工作，例如 Harvey、Robin 和 Spellbook 等。他们能完全取代律师吗？当然不能，但在一定程度上，这些工具能快速高效地完成律师需要花大量时间完成的机械性工作。

医疗环境中的临床信息记录也可以和 LLM 结合起来。

企业成功的秘诀一直在于软件和人员的有机组合，但随着 LLM 带来的软件能力的提升，软件可以接手的工作量在增加。这使得企业在朝着一种“cybernetic”方式发展，即人与机器在工作流程中的有机融合，LLM 和企业工作流的融合是不可逆的。

Ben Thompson：我一直在思考的一个问题是公司的本质是什么，企业的持续性和意义从何而来。公司要是想要更持续，就不能太依赖于人，因为人过于不可控。公司要想更长久的本质是什么？我的观点是，企业的本质在于数据以及流程，所以我对能够抓住这一机会的公司极感兴趣。虽然 Box 和 Dropbox 至今依旧存在，但却未能成为拥有超级影响力的公司，但另外一方面，AI 的重要性在一定程度上得到了验证。

Microsoft 和 AWS 都在财报会上提到，他们对自己的位置相当乐观，因为数据处理是数据流的下游过程，而他们已经拥有了数据。一个公司变得越来越像计算机、越来越智能化是一种自然进化，这也正是激励体系所推崇的方向，也就是让企业不要过分依赖人。

Nat Friedman：我认为你说得完全正确。这里涉及到一些哲学问题。哲学家尼克·兰德（Nick Land）提出了一个很棒的观点，他认为资本主义和 AI 本质上是相同的，因为资本主义驱动着一种去人化的演化进程（impersonal process improvement），这个很好理解。但他另外一个更有趣的观点是，人们之所以对资本主义感到不适，是因为资本主义从根本上来说是一种基于生物基质运行的程序，对人类来说并非理想环境。

因此，“对于人类而言，所谓资本主义的历史实际上是一场由来自未来的人工智能空间发起的入侵，它必须完全依靠敌人的资源来组装自己。”在一些新的 AI 产品的生产中，我们可以看到这种情况的发生，以前你可能需要雇佣代理机构或团队来做的事，而现在越来越多地可以使用模型来完成。

Ben Thompson：这是否进一步印证 AI 最具价值的应用场景主要在企业场景这个观点？因为企业会以传统理性的方式考虑成本，即大额前期投入将在未来某个时间区间内得到回报。而消费者更注重体验，未必会考虑全生命周期成本。另外，已经拥有数据的企业优势将会相当明显。新公司还有机会进入这个领域吗？

Daniel Gross：我认为 B 端往往是进步的开始，大家通常都会瞄准企业来去做改进，比如早期的电视节目是以广播节目为基础进行转化的，以及 Horseless Carriage（无车马车，即最早期的汽车，以内燃机驱动，但外形上仍旧是马车）的起源等等。所以我认为目前很多 AI 产品还属于 V1 版本，它们的目标仅仅是利用技术可以实现自动化，因为现在可以进行自然语言交互了。

以后的 AI-native 应用案例将更多地面向消费者，这些应用将完全不同，它们不再是取代之前的某个过程，而是创造了以前从未有过的全新功能。就比如现在互联网上消费者能体验到的东西，其实和以往任何事物都不一样。

Ben Thompson：Midjourney 和 Character.AI 似乎就属于在想象力层面提供了全新体验、和以往的任何事物都不相同。

Daniel Gross：是的，之前有观点认为，机器人（Robotics）会非常擅长蓝领工作，但机器在人类心理学方面表现非常糟糕，心理学正是人与人之间联系的最后一个领域。可事实证明，机器人（拾象注：这里主要指对话机器人 chatbot）在心理学方面表现非常出色，在实际劳动中的灵活度几乎为零。

Character.AI 就是一个很好的例子，现在出现了许多这类 AI-native 的行为，比如说在 Character.AI 上，你可以整天和一个 Chatbot 聊天，有个特别好的问题就是“你以前都在做什么？”这样你就可以弄清楚这个 Chatbot 的实际用途，通常他们都花费了大量时间在游戏或社交媒体上。

预测未来是非常困难的，就像当初看到 iPhone 我们无法预见 Uber 的出现，或者看到互联网无法预测到亚马逊一样。现在这些机器人通常是为消费者体验而设计的，它们会成为真正具有颠覆性的事物，而企业也会获得可观的好处。相当于我们以前雇佣的是一个人，现在则是一个能得到机器人协助的人（Person in a co-pilot model）。

我认为如果 AI 技术给企业带来颠覆，那很可能来自于一种全新的原生用户体验。这类颠覆通常属于 Clayton Christense 式的低端市场干扰，但 AI 可能带来的影响规模要大得多。目前很多公司试图利用 AI 完成高端法律工作，但模型在判断和依据方面的不足也需要解决，而低端服务，如询问支付 500 美元询问律师租赁相关问题，使用 AI 助手有可能更高效。总体来说，AI 很可能通过提供低成本的初级服务，对低端法律市场产生深远影响。

Ben Thompson：Disruption 最初是指从市场底端进入的产品或服务，尽管质量低下，但因为成本结构具有根本性的差异，可以以不同的方式进行规模扩张。典型的反例是连锁经济型酒店和高端豪华酒店，它们之间的区别在于投入的资金数量，所以汉庭相比丽思卡尔顿并不是一种 disruption，只是更便宜罢了。

但像 AI 法律助手这种能够无限扩展、但又可能会比高端律师犯更多错误的法律咨询模式，是非常具有颠覆性的，因为提供高端法律服务的人日常并不会涉及到简单的法律咨询服务，也会顾虑工作数量和交付质量之间的平衡，但 AI 则可以。虽然可能会犯错误，但它的使用量更大，更容易访问，因此反馈和改进的速度也更快，以至于时间久了，未来法律 GPT 可能会超过高端律师，而高端律师仍然会犯错误，但到那时他们已经束手无策，无法做出应对。

Daniel Gross：是的，未来消费者也许可以接受更高的失败率、完全新的范式或者与以前完全不同的事物。然后乐观来说，随着技术成熟，我希望 AI 也能助益传统企业，就像食盐中的碘，自然融入，不易察觉。

目前许多文本密集型的公司可能被低估，因为将文本转化为产品难度比较大，可又无法根据企业处理文本量来进行类似 S&P500 的排序，表明这类公司的重要性未得到充分认识。如果能根据文本处理能力排名企业，可能会发现一些潜在值得投资对象。在一个信息可自由合成的世界里，文本能力实际上是一个重要的相关指标。

Ben Thompson：就像你提到的案例一样。或者我们想象一家建筑公司，如果你能够比同行低成本在全国范围内拿下所有项目，那将相当颠覆。

Nat Friedman：当然，另一方面也需要 LLM，因为那些收到投标的机构从来没有预料到他们现在能得到这么多的申请。

Ben Thompson：未来，这将是 AI 与 AI 的对话。

Nat Friedman：对的，目前我们很多机构都受限于生成高质量文本的难度，而技术进步使我们能够大规模地生成文本，这无疑是一个重大变化。

因此，我在思考的是，也许存在某种简单的方法可以激活逻辑思维，因为如果只在互联网上进行训练是不能学会逻辑思考的，互联网只是世上所有信息的一小部分。

Ben Thompson：你说得对。ChatGPT 发布 Plugin 架构时我也分析过这个问题，我认为目前它还在探索实现这一点的最佳方法。但从人类工作模式来看，我理解人脑工作方式与这类大模型广义来说的工作机制没有太大差异。我们在模型运作中同样利用大量预测能力，这也是我们神经元之间自然交互的方式。

我们能做的是，利用计算机来做我们不擅长的事情，比如以极高的速度完成非常困难的数学难题。在某种程度上，LLM 并不是计算机的最终目标，而是它能否以一种有意义的方式组织不同的计算活动。或许，更关键的是如何让 AI 意识到它的局限性。

从这个角度，hallucination 是一种特性，而不是缺陷。创造力才是最吸引人的。最重要的不是修复 hallucination，而是通过确定性计算机训练系统验证，以确保这些东西不会脱轨。

我好奇的是，沿着我们使用计算机的方式，LLM 也能够同样操作计算机吗？

Nat Friedman：如果把机器学习分为 1.0 和 2.0 时代，目前我们正处于后者。ML 1.0 时代着重建立排序和推荐算法。而现在这个生成式 AI 时代，我们已经淡忘了 ML1.0 时代的一些经验教训之一就是：为训练做数据准备工作需要耗费十倍于建模工作的努力，因为数据来源复杂，需要整合和清理。

这些大型 Transformer 架构很擅长去噪和清洗数据。但是普遍来看，我们在数据方面工作还做得太少，比如数据准备和处理等等。像 OpenAI 这样最优秀的公司可能已经做了很多秘密的数据工作，而且数据本身就是一项可持续的资产。数据方面还有很大改进空间，无论是获取更好的数据还是对数据进行清理，显然你不想获取一些低质量的 tokens 用于模型的训练。

那么我们是否可以对数据进行聚类，剔除差劣样本，在数据清理工作上做得更好？此外，是否可以采取分级学习的方法，即顺序和流程是否也很重要？

虽然目前存在很多真实问题，但总体来说，我对未来还持乐观态度。我们可以尝试的方法很多，模型规模将更大，同时还有很多数据来源尚未被充分利用，比如目前视频数量恐怕已经超过 1000 亿，但在训练中使用的程度还不够。如果能找到更好的方法来利用这些资源，可能会有很大帮助。

Nat Friedman：其实 Whisper 就基于一百万小时的 youtube 字幕文本做的训练，但这对海量的 video 内容来说就是杯水车薪。AlphaZero 的自对弈学习（Self-play learning）也是一个值得研究的方法。我们是否可以采取类似于代码解释器的环境实现自我学习？这还需探索，我也不能确定。总体来说， 目前涌现的几百来种想法中，一定会有新的有效思路，我们的技术一定会有长足的提升。

Daniel Gross：我们已经转换研究方向了，我过去主要研究的是强化学习（RL）和自对弈这两个方向。RL 曾在多个领域都取得很好的进展，如机器手操作、魔方、游戏等，但 2018-2019 年后，研究趋势几乎完全转向不再深入研究 RL 本身。

因为 RL 模型难以控制，就像手指尖上平衡一根非常长的杆子，很小的错误都可能让它失控，所以研究方向转到了 transformer 等模型，因为它们对糟糕的训练数据和错误更为坚固稳定，且擅长组织文本。但是除了预测下一个 token 之外，它没有自我构建和自我学习的能力。所以实验室现在可能会重新采用曾经抛弃的方法。

Ben Thompson：我认为这更像是关于验证层而非生成层的课题。现阶段模型的生成能力已经较强，但如何评估和确保其生成内容的有效性和正确性还是一个重要问题，也许系统性强化学习是解决这个问题的一种方式。

Nat Friedman：从验证层面来看问题，确实提供了一种有效的方法来探索 AI 应用领域。它寻找解决方法的搜索空间很大，但很容易验证解决方法是否可行。

Ben Thompson：这正是代码的美妙之处不是吗？行，或者不行，并没有中间地带，这正是很好的一个 AI 应用场景。

Nat Friedman：对的，因为可以在较短时间内通过测试来评判好坏，但找到正解却非常困难，本质上就是 AI 的完美应用。

在开源领域就没这么麻烦了，我们可以实现更深度的集成。我一直在考虑 Llama 2 的问题，觉得现在的配置可能被夸大其词了。要使其在价格上与 GPT-3.5 相竞争，我认为它应该能在每小时 75 美分的 GPU 上处理每秒 100 个 token。而高性能的 A100，也就是上一代 GPU，现在的成本是每小时 1.5 到 2 美元。我觉得很多人并没有真正以 GPT-3.5 相似成本的方式来运行 Llama 2，二者性能也不尽相同。不过，未来它肯定会得到优化和改进。很多人都喜欢使用和给 Llama 纠错，我真的认为这为 AI 的可解释性提供了一个很好的途径，拥有这样的模型确实是一大优势。

Ben Thompson：如果云端的成本持续降低，本地模型的存在是否还是必要的？

Daniel Gross：本地模型将肯定会成为云端的重要补充，比如，对于一些简单任务，例如自动补全询问“法国的首都是什么”这些问题，完全可以在本地来完成。

即将发布的最新 iOS 版本中已经实现了一个真正有效的自动纠错功能。我相信这是一个亚秒级的 Transformer 模型，它可以实时响应你在 iPhone 上的每一次键盘敲击。这背后其实有一个感人的故事，这是一位苹果公司的工程师倾注心血的成果，你可能永远也不会知道这位工程师是谁，他可能永远不会出现在某个主题演讲中，我们也见不到他。我并不是想把这变成一个苹果的广告，但我认为这就是他们可能会对待人工智能的方式。我觉得将来会有很多本地模型，它们偶尔会连接到云端的父模型，尽管这样做会消耗更多的能源。本地模型会变得更加智能，但云模型也会保持一定的比例，并持续进化。

Ben Thompson：而且更便宜。

Daniel Gross：是的，我有时会思考这样一个抽象的问题：我认为普通人每天大概需要 100 到 200 瓦特的能量，而普通的 iPhone 可能只需要四瓦特。基本上，我作为一个生物计算机，每天消耗的能量大约是 20 台 iPhone，或者说 40 台 iPhone。我可以编程，我认为我和 GPT-4 一样好，有时甚至更好。所以，我确实想知道本地模型能达到多好的性能呢？因为从能量消耗的角度看，我们的智能在某个时候能在 iPhone 上运行并不遥远。我们可能相差两个数量级。我认为，基于 4 瓦特工作的本地智能实际上可以走得很远，我们就是很好的例子。

Ben Thompson：我一直对商业模式及其产生的影响很感兴趣，其中需要特别点出的是目前 AI 领域中的推理成本问题，这意味着实际的内容生产并非零成本。回到面向消费者的公司，如 Midjourney、Character.AI 和 ChatGPT，它们主要采取的是哪种商业模式？是订阅制吗？像 Microsoft 推出的每月 30 美元的 Copilot ，还有其他的企业级公司提供了各种各样的附加服务，这在有明确成本的背景下都很合理。

再回到网络，遍布全网的是那些免费但充斥广告的大公司。在一个几乎零成本的环境中，这种模式非常有效。如果要运营大数据中心的大公司如 Google 或 Facebook ，你需要大量投资，但对他们来说，这些成本在边际上几乎可以忽略。或许对 AI 而言，最大的问题是，这些公司是否会进入到一个阶段，即推理的边际成本对他们来说几乎可以忽略，从而创造出广大用户所认可的产品？你认为我们已经在这条路上了吗？

Nat Friedman：我觉得我们其实还没有达到那个程度。我预测未来的趋势是，现在被视为前沿技术的东西可能最终会被大众化，但之后我们又会迎来新的前沿技术，它们需要更先进的硬件支持，我们对技术的期望也会随之提高。比如我认为推理能力会是一个重要的发展方向。

我曾与 Daniel 讨论过这个话题。Midjourney 能取得巨大成功，部分原因在于他们能够扩展其推理能力至很多的 GPU 上，利用那些未被充分利用的 GPU 进行大量的推理工作。我觉得他们之所以能够做到这一点，是因为他们是第一个这么做的，如果现在有人想创建一个与 Midjourney 类似的平台，他们需要付出比 Midjourney 更大的努力来获取必要的推理资源。

实际上，我们注意到 Llama 2 正在推高 A100 的需求，那些希望在数据中心中使用 Llama 2 进行推理的公司需要自己寻找 GPU。令人感到奇怪的是，尽管 A100 是三年前的产品，并且如 Daniel 所指出的，它属于上一代技术，但它的需求仍然很高。Nvidia 在六到八周前已经将 A100 的售价提高了 18%。然而现在，H100 已经成为市场上的新宠。

Ben Thompson：一年前 Nvidia 还报废了大量库存，太不可思议了。

这些库存其实是他们过去的积压产品，同时也是 Nvidia 业绩惊人的原因之一。关于 Nvidia 财报值得关注的一大问题是：GPU 市场会有何走势？Nvidia 是否能维持其领导地位？无疑，Nvidia 目前在硬件和 CUDA 两方面都占有优势，但竞争对手都在大力努力缩小这一差距，那么 Nvidia 能否维持领先地位呢？

Nat Friedman：接下来几年将会是 Nvidia 和 Google TPU的天下。

TPU 对 Google 来说是一笔巨大的战略资产。Google 是唯一一个拥有独立的硬件加速器的公司，尽管在制造工厂（fabs）和供应链的其他部分存在一些重叠，但它们不受其他公司（如 NVIDIA 的 CEO Jensen Huang）分配给它们的 H100 GPU 的限制。Google 可以自行分配 TPU 资源，而且据说他们正在以创纪录的数量生产 TPU v5。

Ben Thompson：你的意思是，对付 TSMC 比 Nvidia 更容易。

Nat Friedman：确实，至少没有 Nvidia 的瓶颈问题。现在 Nvidia 有大量需求，但供应却非常有限，因此必须非常精细地分配 GPU 资源。这样的中心化资源分配实在是令人难以置信。所以，即便有人说“AMD 的芯片会和 Nvidia 的一样好”，但明年他们也无法生产出足够的量。在我看来，在接下来的几年里，仅有两家主导公司，而市场将会受到供应短缺的影响，特别是随着更多 AI 应用的崛起和对推理能力的需求增加，以及更多公司想要训练大模型。

Ben Thompson：那么问题是，现在是不是一个过热的阶段，几年后我们回过头来，会发现当时生产和购买了过多的 GPU，导致市场供过于求？就像去年的 Nvidia，但规模可能是那会的 100 倍或 1000 倍。不过这种过剩可能会对 AI 产生巨大推动作用，因为有了 2023、2024 买的已经折旧的 GPU，计算成本会降低很多，利用。一旦市场崩溃，那就好像回到了过去的互联网泡沫，很多公司在大量铺设光纤后迅速宣告破产。

Nat Friedman：那就产生了很多暗光纤（铺设但未被使用的光纤）。所以供应短缺之后到底会不会出现过剩呢？我认为会的，而且对 scaling law 的坚定信仰可能也是一个重要因素。本质上，你投入的训练数据和浮点运算越多，你将得到的模型就会越好，从 GPT-1 到 GPT-4 每次一个数量级的跃升都证明了这点，所以未来在 GPT-5 上我觉得也会看到。

未来可能只有少数实验室有能力承担训练 GPT-5 或 GPT-6 等价模型的成本，而所有的初创公司，除非是做垂类小模型，否则就会被市场淘汰，从而形成“逃逸速度”（escape velocity）的现象。可能将会有三四家公司能够负担得起训练 100 亿美元的模型，而且这实际上是有限数量的 GPU。

Ben Thompson：你描述的基本就是现在 fabs（半导体晶圆厂）的情况，过去所有人都想产自己的芯片，但后来因为成本太高，所以就只剩下一个独苗了。

Nat Friedman：按现在的趋势发展，这可能也是我们的未来，因为成本变得太高了，要推出一个通用模型可能需要 1000 亿美元的投资。我们的实际行动也证明这点了。

Ben Thompson：有件我认为是你们做过最疯狂的事情之一，就是你们推出的 Andromeda GPU 集群。你们是如何考虑这件事的？

Nat Friedman：其实并不是每家创业公司都需要自己的 GPU 集群，确实存在不需自己训练模型就能做出好产品的好公司，他们一般都在使用 GPT-4 或 GPT-3。但对于某些 AI 公司，自己做训练才是关键。对于这些初创公司，因为资金有限，是难以长期租用大规模集群的。

Ben Thompson： 90 年代那个需要先买电脑才能创业的时期加速前进。因为在 AWS 出现后，一切都变得唾手可得，门槛降低，所以试用阶段和种子阶段公司的数量增加了，而你是想通过私有和对外租赁的方式来）实现类似的效果？

Nat Friedman：是的，所以这就需要暂时进行一段时间的扩张。现在基本每次刚有 H100 的货，甚至还没卸货就已经被预订了三年的使用权，市场对 H100 的需求太大了。但如果你是一家只筹集了几千万美元的初创公司，只想拥有集群一个月的访问权，没人能给你提供这样的服务，就像没有人能给你提供预订哈勃太空望远镜的时间，什么“我们只需要用几个小时”都不太可能。

我和 Daniel 前几年一直在谈论这个问题，也一直在等待市场来解决这个问题。我联系过 Satya、Google 和 Amazon，跟他们讲这件事和“云”的本质类似，让企业可以租到一台暂时还没有能力购买的计算单元，但没有人真的这么做。我们之前没有公开谈论过这个问题，但大约五六个月前，我们采购了数百个 GPU，我们承担了风险，支付了费用，然后在一个周五晚上把它们提供给了我们投资的初创公司，具体费用大概达到了几百万美元。到了周六下午，这些 GPU 全部被三倍量超额预订一空。

我们当时突然发现我们运营的是一个小型云，所以必须提高这件事的优先级，后来这几百个 A-100 增加到一千多个，大概有六七百个 A-100 时，我们决定要认真起来，建立一个真正有竞争力的集群。因此，我们最终选择与一个可信赖的供应商合作，并通过招标的方式建造了一个名为“Andromeda Cluster”的集群。这个集群由 2512 个 H100 组成，彼此互联，供我们投资的初创公司使用，就像一个封闭的云花园（walled garden cloud）。

Daniel Gross：Andromeda 在 超算 TOP500 排行榜上排名多少？

Nat Friedman：我暂时不知道，可能在两位数之内吧。如果你用 FP8 和 Sparsity 进行训练，那就是大约 10 exoflops（每秒执行十万亿次浮点运算），是一台大型超级计算机。

这些 GPU 的真正的用途是培养特定领域，如视频、生物学或语音等的基础模型，或者说，是产品模型。现在很多人都在使用这些大型基础模型，但他们需要产品模型来整合自己正在开发的产品。这是一个巨大的机会，我们在这方面也有满满的规划。时间会告诉我们答案，但我们真的很想尝试，这会非常有意思。

Daniel Gross：市场还是不够完善，很多初创公司由于没有足够的计算资源而无法开发一个能吸引更多投资的模型，这就造成了不平等。即使你技术过硬，也难以进入这个领域。使用 Andromeda 的公司可能并不把它作为最终目标，但它就像一个披萨烤箱，你把原材料和面团放进去，就能烤出美味的披萨，最终，也许有一天他们会开设自己的披萨店，这就是我们的愿景。

Nat Friedman：对于初创公司，只需要筹集 2000 万美元，就可以像有 2 亿美元那样使用资源一段时间。的进展会更快，资金使用效率也更高。有些公司可能募了数亿美元，但如果他们有这样的资源，我们只需投资其中的 20%-25%，也能得到相同的成果。投资资金也可以更好地利用。

创业企业他们只需为我们提供的服务支付费用，虽然我们并不打算从 Andromeda 上获利，但这件事的发展比我们预期的更复杂和有趣，迄今为止，这算是一个非常成功的尝试。我们希望不仅能帮助与我们合作的企业，还能吸引那些尚未了解我们的初创公司。但遗憾的是，其他 VC 也开始效仿，加剧了对 GPU 的需求。

Ben Thompson：你们第一次推出 AI Grant 时是在主动找到 AI 领域的初创公司，到了第二次整个领域已经大爆炸了，如何保证持续筛出来哪些是真正的好公司？AI Grant 会发生什么变化？

Nat Friedman：是的，好消息是有更多的公司，有更多的高质量的创始人。坏消息是你不得不筛选出很多工作。这次我们有数以千计的申请，所以我们需要对所有申请进行审查。

Daniel Gross：当我和 Nat 在 2017 年首次推出 AI Grant 时，主要是为了给研究者提供资金支持，那时 AI 研究还少，也还没有出现 Transformer。但当我们考虑再次启动 AI Grant 时，情况已经大不相同，AI 研究人员能拿到数百万美元的报酬，并不需要我们提供小额拨款。但确实还有一个问题有待解决，那就是会做 AI 产品的人才还很短缺，这里说的产品不仅仅是给 GPT 加个界面这么简单，而是能真正做一个公司。

因此，我们重新启动了这个计划，形式类似于拨款，我们提供了几乎是无上限的 SAFE 协议，并且提供了一笔数目不小的资金，而得到支持的公司最终也表现不错。到第二轮时，市场再次做出了响应，出现了大量不错的 AI 产品。

Ben Thompson：那么 AI Grant 在今天的意义和作用又是什么？

Daniel Gross：我觉得 AI Grant  依旧是有必要的，因为它让很多创始人有机会实现自己的追求。这个项目一方面和大家预想的一样，可以帮助创始人互相认识，在圈子里建立人脉。而另一方面，我认为只有现在回顾多年来运营这些项目时才能理解，那就是让那些原本觉得自己不适合创业的“圈外人”，也有机会参与进来。这也是 Silicon Valley 的一大优势，不仅仅是 AI Grant，还有 Y Combinator 和其他许多 AI 加速器和创业孵化器的最大价值。

我们更倾向于那些与众不同的、不符合传统标准的人，他们会有不同的想法和视角。而大家都追捧的“红人”其他 VC 也会投，所以并不是我们关注的对象。