AI独角兽｜Anthropic：最可能挑战OpenAI的公司

OpenAI最大的敌人不是它自己，而是Anthropic。

这家成立不到2年的公司目前是硅谷最受资本欢迎的人工智能公司，目前估值接近50亿美元，业内排名第二，仅次于OpenAI。Google在这家公司持股超过10%。

Anthropic创始团队是GPT系列产品的早期开发者。2020年6月，OpenAI发布第三代大语言模型（Large Language Model，LLM）GPT-3。半年之后，负责OpenAI研发的研究副总裁达里奥·阿莫迪 （Dario Amodei）和安全政策副总裁丹妮拉·阿莫迪（Daniela Amodei）就决定离职，创立一家与OpenAI有不一样价值观的人工智能公司——Anthropic。

他们有一个很明确的目标，就是构建一套「可靠、可解释、可控的『以人类（利益）为中心』」的人工智能系统。这些关键词听起来都很熟悉？没错，它们都曾是OpenAI宣称的愿景。但2019年之后，尤其接受微软100亿美元投资之后，愿景与现实起了冲突，取代「对人类安全」，商业和第一个抵达AGI的野心成了OpenAI更重要的东西。

Dario和Daniela是一对亲兄妹，2021年，他们带着OpenAI的标签和OpenAI另外5名员工一起出走了，5名员工中的Tom Brown曾领导GPT-3模型开发。新公司名「Anthropic」的意思是，与人类有关的。

不过，要挑战OpenAI这样技术和资金实力都俱佳的领先者（OpenAI早在2015年就创立了，ChatGPT所基于的GPT-3.5也在Anthropic创立之时就差不多训练好了），困难程度不亚于最初创立OpenAI的那批人立志要打破Google的AI垄断。不过，当OpenAI变得不再Open，并且用Dario和Daniela的话说变得不再「以人类为中心」，技术权柄被新的理想主义者夺走的故事就可能再次上演。

无害和有用在生成式AI身上是种矛盾。

一个常常用「我不知道」回答问题的AI是无害的，但同时也是无用的。你可能已经碰到过这种状况，当你问出一些有争议的问题时，AI助手经常拒绝回答——像人一样。如果你多次追问，还会将其逼入困境，接下来的对话中，这位AI助手的回应可能都是回避性的——也像接收过多攻击性语言后产生回避型人格的人一样。

2022年4月，ChatGPT发布前，Anthropic就发表论文（31人署名）讨论了有用和无害之间存在的显著紧张关系。对其产生原因，Anthropic认为「这是因为我们的众包工作者对有害输入的回应是回避性的 」。

在Anthropic之前，生成式AI（包括GPT）在训练AI跟人类价值观保持一致（Alignment，就是业内人所说的「对齐」）时，普遍采用的训练方式叫作「基于人类反馈的强化学习」（Reinforcement Learning from Human Feedback，RLHF）。训练过程中，人工智能公司会招募成千上万个人类训练师，对AI生成的答案做品质排序。由此保证那些符合人类价值观的答案获得更高排名、更大可能性被再次生成，而那些不合人类价值观的答案则被排在后面、越来越不可能被再次产生出来。

这样人为调教的好处显而易见——AI学会了礼貌、不冲撞人类，但弊端也难以避免，尤其当向AI提供人类反馈的那个人类刚好是个回避型人格、隶属于高敏感人群。人群中总有这样的人，人工智能公司在将其「基于人类反馈的强化学习」工作外包时，基本不会对外包人群做性格测试，甚至它们第一步收集到的训练数据中，也极少包含「积极处理有害请求」的那类数据。没错，人类自身本来就缺乏这种文化。

Anthropic的研究表明，随着模型变大，不仅模型能力增加，模型「毒性」也增加。

Anthropic不愿掉入先行者ChatGPT遭遇的陷阱，它的目标是培养一个「不回避、有用且无害」的助手。2022年12月，ChatGPT刚发布不久，Anthropic又发表了（51人署名，半年之内，Anthropic就壮大了7成）一篇论文，提出新的AI价值观训练方法——基于AI反馈的强化学习（Reinforcement Learning from AI Feedback，RLAIF）。与GPT等使用人类为模型生成的答案打分、排序不同，Anthropic用另一个AI为生成式模型生成的答案打分、排序，这个AI叫作「宪法AI」（Constitutional AI，CAI）。

具体来说，Anthropic首先根据联合国《世界人权宣言》、苹果公司的数据隐私规则、DeepMind的Sparrow（麻雀）模型原则、Anthropic的AI研究实验室原则等，写出了一套希望模型遵守的指令列表。这套列表涵盖了从基本常识（比如不帮助用户犯罪）到哲学（比如避免暗示AI系统拥有或关心个人身份）的各类细则，并鼓励模型考虑非西方、非富裕或工业化文化的价值观和观点。而且，为了避免这些预先设立的规则会让模型生成的回答太说教而让人厌烦，Anthropic还设置了平衡规则，要求模型「选择能够表现出伦理和道德意识的回应，但听起来不会过于居高临下、令人讨厌或包含谴责性」。

让生成式模型学会这套成文宪法的技术与OpenAI训练GPT时所使用的强化学习类似，只不过GPT使用的是基于人类反馈的强化学习，而Anthropic则先将上述「宪法」训练成一个评价模型，然后用这个评价模型再去训练其大语言模型Claude——这个方法被称为基于AI反馈的强化学习（Reinforcement Learning from AI Feedback，RLAIF）。总之，GPT学习的是人类的偏好，Anthropic让Claude学习的是「宪法AI」的偏好。简单理解的话就是，GPT们所生活的环境是人治，Claude依靠的则是法治。

Dario和Daniela都是理想主义者。哥哥Dario本科学的是物理学，研究生则选择了计算神经科学，原因是他「想要理解智能是如何运作的」，「这似乎是人的一个基本问题。」他和妹妹2022年参与牛津大学未来人类研究所的一次播客访谈时说，选择专业时他就认为，计算神经科学有许多机会可以进行医学干预、改善人类生活质量、理解精神疾病和其他身体疾病，同时，也能让他了解智能是如何工作的。

妹妹Daniela进入人工智能领域的经历与Dario既有相似之处，也有不同。她一开始并没有像哥哥Dario那么明确地要研究智能问题，而是先在华盛顿特区的好几个非政府组织工作。她是朋友口中那种典型的「善意人士」，关注全球贫困和官员腐败。然而工作几年后，她发现在这些「善意机构」的工作并不能对它们关心的议题产生实际影响力。这时候她决定进入科技领域。「我认为科技领域是相对较少的可以以个人工作产生非常高影响力的地方。」她在2022年的那场牛津大学未来人类研究所播客访谈中称。

进入科技领域后，Daniela先是进了一家叫Stripe的金融科技公司。不久，深度学习的热潮就来了，Daniela从中看到了理解人类智能、通过人工智能解决科学和健康等人类尚不能解决的问题的最佳途径。2015年，OpenAI成立，原来在Stripe担任CTO的Greg Brockman加入OpenAI担任CTO后，Daniela的哥哥Dario先被Brockman招募，接着，同样认识Brockman的Daniela也加入了。

Dario和Daniela加入OpenAI的原因与其想要构建AGI的愿景以及作为一家非营利组织的定位有关，否则Dario也没必要从当时所在的Google Brain离职。

两人创办Anthropic之后的表现表明，他们并不只是纯粹的理想主义者，而是在产品能力和商业策略上同样出色。

作为Anthropic旗下的明星产品，Claude在迭代速度上步步紧逼ChatGPT。

2022年11月30日，ChatGPT发布，2023年3月，Anthropic就推出了类ChatGPT产品——Claude。如果根据Vox的报道，Claude已经开发完成的时间比ChatGPT还要早。Vox报道称，Anthropic早在2022年5月就研发出了能力和ChatGPT 不相上下的产品，但并没有选择对外发布，因为担心安全问题，而且，它不想成为第一家引起轰动的公司。

尽管实际推出比ChatGPT晚了3个月，Claude仍然是全球最快跟进推出的类ChatGPT产品。与之相比，Google直到5月才为其聊天机器人Bard接入差不多的生成式模型PaLM2，Meta、苹果、亚马逊等其他硅谷大公司则至今未推出类ChatGPT产品。

类似的近身竞争之后又出现了一次。3月14日，OpenAI推出能力更强大的多模态模型GPT-4，上下文窗口允许输入3.2万token（相当于2.4万个英文单词）。两个月后，Claude就把上下文窗口的token数量扩展到了10万个（相当于7.5万个英文单词），成为所有商用模型中最大的，也是GPT-4容纳token量的3倍。

并且，GPT-4收取20美元，Claude则实行免费策略。这为不愿付费但又想使用高品质生成式AI服务的用户多提供了一个选择。对Claude则意味着，它只需要跟同样单模态（只处理语言，不处理图片）的GPT-3.5竞争就可以了。此外，Claude在对话框中提供文件上传功能，使用户可以将pdf等文件整体上传，获得摘要、总结、分析等服务。

据Claude2发布前Anthropic公关主管Avital Balwit透露的数据，Claude的用户数量并不高，只有数十万，与ChatGPT 的1亿多用户相去甚远。但作为展示公司在生成式AI上的技术水平，几十万用户已经足够了。2023年以来，它已获得上千个客户，电话会议工具Zoom、笔记产品Notion等接入的都是Claude，而非GPT。

截至目前，Anthropic共完成3轮融资，在2023年5月的C轮4.5亿美元融资之后，Anthropic共筹集了14.5亿美元，是除OpenAI外融资最多的AI初创公司。其中，Google在2月一次性向Anthropic注入了3亿美元的投资，换取Anthropic 10% 的股权。5月的C轮融资中，Google再次跟投。

Anthropic融资期间，硅谷科技圈精英人士中间正流行一股叫「有效利他主义」（Effective Altruism，简称EA）的思潮，意思是「用理性使得善的程度最大化」。和Daniela的个人志趣变化相似，这批人的注意力近年来也从全球贫困等议题转向更为长远的气候变化、人工智能等领域。其中一些人因为担心AI带来的风险而成为AI安全领域的研究者。

在Google之外，Anthropic吸引的不少投资都来自信仰这种思潮的科技高管。参与其A轮融资的Facebook联合创始人Dustin Moskovitz和Skype联合创始人Jaan Tallinn都是「有效利他主义者」中的一员；B轮融资中，投资者Sam Bankman-Fried 、Caroline Ellison和Nishad Singh也都曾公开宣称自己是有效利他主义者。

这种氛围与早期的OpenAI极其相似，当时，包括马斯克等在内的硅谷精英正是为了打破Google的AI垄断、使这项技术更透明更安全，才联合创立的OpenAI。但发布GPT-2后不久，OpenAI就开始不再open。

根据《MIT科技评论》2020年的报道，2018年之前，「非营利性质」几个字还写在OpenAI的章程里。在2018年4月发布的公司新章程中，OpenAI就开始称「我们预计需要调动大量资源来实现我们的使命」。2019年3月，OpenAI建立了一个「有限利润」的子机构来摆脱纯粹的非营利性质。不久之后，它宣布获得微软10亿美元投资。

《MIT科技评论》的记者将这种转变归因于竞争，实际上，GPT-2被开发出来后，OpenAI将其捂了半年才发布出来。因为它意识到，其他竞争者利用算力资源取得突破性成果的速度每3.4个月就会翻倍，保持非营利性质将使其难以应对竞争，更不要说成为那个首先取得AGI圣杯的机构。

包括Dario和Daniela在内的Anthropic创始团队，正是在对OpenAI的这种转变的不满中离职另立门户的。不过，面对连OpenAI都难以应对的竞争环境，Anthropic不一定有更好的方法。

Anthropic已经与它刚成立时的理想程度有所下降。其实直到2022年年底ChatGPT发布之前，Anthropic都还只是一个研究机构。当年11月底，ChatGPT发布，Anthropic立刻行动起来，决定推出一个与ChatGPT直接竞争的产品（就是Claude）。现在， Anthropic给自己的定位是一家公益法人公司（PBC，Public Benefit Corporation），兼具公益和商业公司属性。

而且，Anthropic在AGI方面的野心并不亚于OpenAI。推出两代Claude模型和产品之后，Anthropic还计划建立一个能力比当今最强大的AI（比如GPT-4）还要再强10倍的模型。这个项目暂被命名为「Claude-Next」。

Anthropic预计，这个超强AI将比其当今最大的模型还要大几个数量级，并需要在未来18个月内为这个超强AI花费10亿美元。根据其C轮融资宣传文件，为与竞争对手OpenAI竞争，并进入十多个主要行业，该公司预计未来两年内还需要筹集高达50亿美元的资金。这个数字不包括它已经融到的14.5亿美元。

竞争压力带给OpenAI的变形之一就是其逐渐将「AI安全」置于「训练更强大的AI」之后。创立Anthropic前，Dario正是领导OpenAI达成AGI的战略负责人。当时，他将实验室分为两个走不同技术路线的团队，一个团队押注「 AI可以通过纯语言学习对世界有深刻的理解」，另一个团队则相反，他们押注「智能需要有身体作为介质才能进一步发展」。这项「投资组合」确保OpenAI不会押错技术路线，但对AI安全——比如AI不伤害人类——却毫不保障。

虽然OpenAI也建立了「解释性团队」试图揭示生成式AI背后的行为逻辑，但这部分研究更多建立在直觉而非已有理论基础上。「在某个时刻，我们将实现 AGI，在那之前我希望这些系统在运行时能让我感觉良好。」Dario在2020年接受《MIT科技评论》采访时称。

创建Anthropic时，Dario一定还带着当时的不安，这是他和创始团队一再对外界强调「AI安全」的原因。不过，光靠「宪法AI」这一个创新对于解决AI安全问题是不够的，尤其当其野心是要构建一个比现有模型还要大几个数量级的模型时。别忘了「规模定律」的下半句：规模越大能力越好，但同时，其生成文本的毒性（即粗鲁、不尊重或不合理的语言）也随模型规模增加。

竞争压力带给OpenAI的另一个变形是向微软怀抱的投奔。在没有人验证生成式AI能带来多少安全问题的前提下，财报数字亟待拯救的硅谷巨头们已经迫不及待将其部署到产品的角角落落了。「Claude-Next」所要消耗的50亿美元如果不能继续从那些「有效利他主义者」那里获得，或者当这些理想主义者开始因Anthropic对现实妥协而失望，Anthropic很可能落入Google手中，后者的生成式AI模型PaLM2无论在编程能力、数学能力还是多语言能力上，都不一定比得上Claude。

OpenAI当时就是这样落入微软口中的。

我们是一个诞生于GPT浪潮、由《第一财经》YiMagazine孵化的全新内容IP。 

和每一位关心技术、关注人类命运的读者一样，我们希望在这个充满不确定性的时代，更好地理解快速变化的科技世界，也更好地理解生而为「高级智能」的我们自己。

在这个目标下，我们计划从学术、商业、伦理、监管等多个角度报道和讨论与「智能」相关的议题。请注意，我们说的智能，不只是 AI。