智能周报｜OpenAI推多模态模型，计划开发AI硬件和芯片；从亚马逊融40亿美元后，Anthropic想再从Google融20亿

2023-10-09 01:10

撰文 | 新皮层小组

编辑 | 吴洋洋

仅仅半个月内，OpenAI和Meta就都宣布了自己的多模态应用。ChatGPT的Plus用户和企业客户很快就可以用上新的语音和视觉功能。Meta的人工智能助手Meta AI则支持用户在WhatsApp、Messenger和Instagram等社交产品中一键召唤，完成文字问答、图片生成和贴图生成等一系列工作。不仅如此，它还推出了28个自称「有故事背景的角色AI」，其实就是28个「数字人」，把包括橄榄球明星Tom Brady、韩裔厨师Roy Choi、网络红人Charli D’Amelio和Paris Hilton等在内名人的数字分身投放到Meta的社交平台中，吸引年轻用户与之交流。

OpenAI原本早在今年3月就推出了自己的多模态模型GPT-4，但直到最近才将其中的多模态能力在ChatGPT中上线，原因之一仍然是技术不够可控，比如，它可能针对人物的面部说出不该说的话。外界原预期OpenAI将在其11月举办的首届开发者大会上推出优化后的多模态模型GPT-4V，然而外部的AI热战不允许OpenAI落后于对手。

不仅Meta一步到位地将其多模态能力直接用到了其社交产品中，Google的多模态模型「Gemini」（双子星）也已于9月向小部分公司开放测试。与Meta一样，Google也有大量商业场景可以迅速将其AI能力交付到数十亿普通用户手中。相较于年初的1亿大关，ChatGPT的用户量到8月攀升到了1.805亿，但仍然不到Meta、Google用户量的1/10。

如果Meta和Google的AI应用成功，可以迅速把全球数十亿用户快速带入生成式AI时代。不仅如此，它们也可以在云计算生意中从先前的落后局面扳回一局，那样还会抢走亚马逊的生意。

亚马逊的危机感肉眼可见地强烈了，9月25日，有报道称亚马逊将向AI初创公司Anthropic投资40亿美元，后者是聊天机器人Claude的母公司，准备开发一个比其现有最强大的模型还要强10倍的新模型。在此之前，Anthropic被视为「Google系」公司，今年2月和5月，Google先后两次投资Anthropic，持股超过10%。

Google不会轻易就放走Anthropic。就在外界以为亚马逊把Anthropic从Google手中抢了去之后，10月4日，市场就出现新消息：Anthropic已在与包括Google在内的投资者谈判，计划筹集至少20亿美元的新资金。若融资成功，Anthropic的估值或高达300亿美元，股票价值相较于其营收的倍数将高于OpenAI。

面对手握资金和用户的大公司，初创公司的最大优势就是凭借自己的快速反应能力继续开拓技术前沿。OpenAI被爆料一直在与iPhone著名设计师Jony Ive联系，软银也已参与其中。三方计划成立一家合资公司开发AI硬件设备，软银已在其中投资超过10亿美元。此外，OpenAI也在探索开发自己的人工智能芯片，并评估了潜在的收购对象。当然，这些都需要钱，可以看到，不止Anthropic在大量筹措资金，OpenAI也正在积极融资。

最后一则新闻有关中国市场，美国考虑无限期豁免韩国芯片制造商（三星和SK海力士）对华投资，允许它们将美国芯片设备引进中国。如果消息落地，意味着中国确实在7nm制程的芯片制造方面取得突破。

由于十一假期，这其实是一份半月报。以下内容由新皮层团队制作。

Key Points

OpenAI篇

OpenAI推出多模态模型GPT-4V，基于GPT-4开发；

ChatGPT将在10月增加语音与视觉功能；

OpenAI寻求以900亿美元估值出售股份，以筹集资金；

OpenAI计划开发AI硬件产品和AI芯片。

大公司篇

亚马逊将向AI初创公司Anthropic投资40亿美元；

Anthropic拟从Google那里融资20亿美元；

Meta推出AI助手Meta AI，以及28个「数字人」；

美国考虑无限期延长对韩国芯片制造商的中国豁免权。

OpenAI篇

OpenAI推出多模态模型GPT-4V，基于GPT-4开发

9月25日，OpenAI宣布推出具有视觉功能的多模态模型GPT-4V（V即Vision），它能够分析用户提供的图像输入，还能够用语音对话。

OpenAI表示，GPT-4V基于基础模型GPT-4开发，于2022年完成训练，最早今年3月开始在Be My Eyes公司测试。Be My Eyes是一家为视障人群提供服务的科技公司。

GPT-4V能做什么？

OpenAI在官方文章中给出的应用场景包括：

•旅行时，拍摄地标的照片，GPT-4V可以反馈该地标的相关信息；

•回到家时，拍下冰箱和食品储藏室的照片，GPT-4V可以提供食谱建议；

•晚餐后做作业时，用户也可以把数学问题拍照上传，GPT-4V可以给出相应的解答。

今年3月，OpenAI发布多模态模型GPT-4，该模型可以根据图像和文本等多种形态的信息提示生成内容，而不再仅局限于文本形态的内容输入与输出。

外界原预期GPT-4V在今年11月的OpenAI首届开发者大会上亮相

GPT-4V在9月25日的突然上线令外界意外，OpenAI这么做可能是为了刻意保持在生成式AI领域的领先性。

GPT-4V上线的同一天，消息称亚马逊将向AI初创公司Anthropic投资高达40亿美元。Anthropic是生成式AI初创公司里估值仅次于OpenAI的公司，被视为OpenAI最有力的竞争对手。Anthropic的核心产品是聊天机器人Claude，功能类似于ChatGPT。今年4月，Anthropic已宣称要创建一个名为「Claude-Next」的模型，其功能要比当今最强大的模型还要强10倍。

而9月15日，Google也被爆料已经向小部分公司开放了其多模态模型「Gemini」（双子星）的早期版本。「Gemini」是Google对标GPT-4开发的多模态模型，最早在今年5月Google召开的全球开发者大会上推出。

基于GPT-4V开发的AI应用还有「Be My AI」

今年早些时候，OpenAI与初创公司Be My Eyes合作，将GPT-4V整合入Be My Eyes中，开发出了新产品「Be My AI」。相关测试过程和成果被总结成了论文：

论文显示，今年3月至8月初期间，Be My Eyes团队与近200名盲人和低视力人员测试了「Be My AI」，9月，测试团队已经拓展到了1.6万人。

与GPT-4相同的是，GPT-4V也容易产生「幻觉」，或者以权威的语气编造事实，还会出现忽略数学符号以及无法识别明显物体等问题。测试期间，一位测试者发现，「Be My AI」会告知其菜单中实际不存在的物品。有时，它也难以做出正确推论，例如错将图像中的两个文本字符串组成一个虚构的词语。

Be My Eyes团队警告测试人员，不要依赖「Be My AI」来解决安全和健康问题，例如阅读处方、检查过敏原成分列表或者穿过马路。

今年7月，《纽约时报》报道称，OpenAI担心具备视觉功能的GPT-4可能针对人物的面部说出不该说的话，以及侵犯用户隐私，因而限制用户使用视觉功能。

参考链接：

https://openai.com/research/gpt-4v-system-card

ChatGPT将在10月增加语音与视觉功能

9月25日，OpenAI宣布，未来两周内将向ChatGPT Plus用户和企业客户推出新的语音和视觉功能。其中，视觉功能将登陆全平台，但语音功能仅限手机端用户使用。

语音对话：ChatGPT的语音对话功能使用了两个独立模型，一个是OpenAI此前推出的「语音转文本」模型Whisper ，新的「文本转语音」模型则用于将ChatGPT的文本输出转换为口语。ChatGPT提供了5种合成声音，这些合成声音是OpenAI根据雇佣演员的声音训练模型学会的。

新闻网站Axios测试多模态的ChatGPT显示，语音回复大约有6秒的延迟。

OpenAI正在与包括Spotify在内的数家公司共享新的文本转语音模型。Spotify将之用于翻译名人播客，比如俄裔美国计算机科学家Lex Fridman主持的播客节目、The Daily Show主持人Trevor Noah即将推出的新节目。

图像生成：ChatGPT还计划增加图像生成功能。9月20日，OpenAI宣布，计划在ChatGPT上集成新版文生图产品DALL-E 3功能。该功能将于10月上线。

参考链接：

https://openai.com/blog/chatgpt-can-now-see-hear-and-speak

OpenAI寻求以900亿美元估值出售股份，以筹集资金

据报道，OpenAI正在与投资者讨论价值数亿美元的股票出售，以筹集资金，目标估值将在800亿至900亿美元之间。信源消息称，OpenAI将通过出售现有股票，而非发行新股筹集资金，但具体交易条款可能变动。

全球初创公司估值第3高，超过蚂蚁集团

800亿至900亿美元的估值是半年前的3倍。今年4月，科技博客TechCrunch报道称，OpenAI完成了103亿美元融资，当时估值是270亿至290亿美元。

OpenAI的目标估值将使得该公司成为全球估值第3高的初创公司，仅次于字节跳动的2250亿美元、SpaceX的1370亿美元，但高于蚂蚁集团的776亿美元（根据蚂蚁集团7月的回购方案和价格估算）。

新到投资者会进入，不会是微软

眼下，OpenAI正在进行从模型（GPT-4V和Gobi）到产品（多模态ChatGPT）甚至硬件（AI硬件）的多项投资或探索，这使它前所未有地需要资金。

不过，OpenAI也在小心控制其股东结构。创始人Sam Altman曾明确表示，他不打算让OpenAI上市或者出售。OpenAI也有意让微软持有该公司少数股权。目前，微软已持有OpenAI 49%的股份，意味着它可能无法购买任何将其持股比例提高至50%以上的股票。

微软已经在模型本身上减少对OpenAI的依赖

在与OpenAI合作之外，微软也在通过自研模型减少成本开支。

9月26日，科技网站The Information报道称，微软副总裁兼微软研究院院长Peter Lee正在领导一个大约1500名员工的研究团队，着手开发自研的对话式人工智能产品，它性能比不上GPT，但规模更小，运营成本也更低。

报道称，微软计划将该自研模型用于旗下产品，包括必应搜索的Bing Chat聊天功能。在用户提问时，简单的问题由该自研小模型解决，复杂问题再交给OpenAI的GPT。

参考链接：

https://www.wsj.com/tech/ai/openai-seeks-new-valuation-of-up-to-90-billion-in-sale-of-existing-shares-ed6229e0

https://www.theinformation.com/articles/how-microsoft-is-trying-to-lessen-its-addiction-to-openai-as-ai-costs-soar

OpenAI计划开发AI硬件产品和AI芯片

据Businnes Insider 8月1日报道，亚马逊CEO安迪·贾西（Andy Jassy）已将原负责智能助手Alexa的高级副总裁兼首席科学家——罗希特·普拉萨德（Rohit Prasad）提拔为自己的直接下属，负责运营一个新创建的AI团队。

目前合作进展到哪一步？

3位知情人士透露，OpenAI已聘请Jony Ive开发这款设备。双方希望为用户创造更自然、直观的人工智能交互体验，就像iPhone在触摸屏计算方面的创新一样，目前产品开发仍处于早期阶段。此前，Jony Ive曾希望创建一种较少依赖屏幕的计算机交互方式。

软银也参与了讨论，它将为设备开发提供财务支持，并将担任芯片设计商的角色。据悉，OpenAI、Jony Ive的工作室、软银三家公司正计划成立一家合资公司，软银在其中的投资已超过10亿美元。不过，目前该合资公司尚未成立，正式宣布可能需要几个月的时间。

此前，OpenAI已投资过一些硬件初创公司

OpenAI一直有将技术转化为硬件产品的野心。今年3月，OpenAI投资了苹果前高管创立的硬件公司Humane，该公司在7月推出了第一款AI穿戴设备Humane Ai Pin，该产品不需要与智能手机或其他设备配对，且拥有AI驱动的光学识别和激光投影显示功能。11月9日，Humane将公布Ai Pin的全部细节。

Humane刚刚在巴黎时装周上发布了这款硬件。

今年4月，OpenAI又领投了一家来自挪威的机器人制造商1X technologies，该公司旨在开发能在日常场景中与人安全协作的机器人。

同时，OpenAI还想开发自己的AI芯片

据路透社10月5日消息，OpenAI正在探索制造自己的人工智能芯片，并评估了潜在的收购对象，不过尚未决定是否继续推进。自去年起，OpenAI就开始尝试解决其依赖的AI芯片短缺且成本高昂的问题。报道称，OpenAI首席执行官Sam Altman已将收购更多人工智能芯片公司作为公司的首要任务。

参考链接：

https://www.ft.com/content/4c64ffc1-f57b-4e22-a4a5-f9f90a7419b7

https://www.reuters.com/technology/chatgpt-owner-openai-is-exploring-making-its-own-ai-chips-sources-2023-10-06/

大公司篇

亚马逊将向AI初创公司Anthropic投资40亿美元

9月25日，有媒体报道，亚马逊将向AI初创公司Anthropic投资高达40亿美元，这家电子商务集团将在生成式AI领域与微软、Meta、Google和英伟达展开竞争。

Anthropic在生成式AI初创公司融资规模里排名第二，被视为OpenAI最有力的竞争对手。公司的核心产品是Claude聊天机器人，功能类似于ChatGPT。新皮层团队在AI独角兽系列里专门介绍了Anthropic。

Anthropic能从这笔交易中得到什么？

加速融资进程：今年4月，Anthropic曾宣称要创建一个名为「Claude-Next」的模型，其功能要比当今最强大的模型还要强10倍。但是Anthropic也提醒，该项目需要在未来18个月花费10亿美元。当时Anthropic计划在未来两到三年内筹集50亿美元的资金。现在，亚马逊一家的投资就高达40亿美元，可以说是加快了融资进程，Anthropic有了充足资金研发新版本的大模型。

获得AI芯片：研发大模型需要大量的AI芯片提供算力支持，亚马逊将向Anthropic提供自家的AWS Trainium和Inferentia两款AI芯片，帮助这家AI独角兽构建、训练和部署未来的基础模型。

亚马逊可以得到什么？

Anthropic表示，作为与亚马逊交易的一部分，Anthropic将使用亚马逊云科技（AWS）作为主要云提供商，安全研究和未来基础模型开发等一系列关键任务都将使用亚马逊云科技的云服务。

亚马逊云科技推出了新的托管服务Amazon Bedrock，使各家公司能够动用各种基础模型来定制个性化的生成式AI服务。通过Amazon Bedrock平台，亚马逊云科技将会给全球客户提供访问Anthropic未来几代基础模型的权限，Anthropic还将为亚马逊云科技的客户提供模型定制和微调功能。也就是说，即使一家公司完全不懂大模型领域，只要是亚马逊云科技的客户，就能够享受到前沿的AI定制服务。

Google消失了？

有意思的是，在亚马逊最新对Anthropic的投资中，并没有透露出关于Google的任何消息。要知道，在过去很长一段时间，Anthropic都被看作是一家属于「Google阵营」的公司。

Anthropic是一家由OpenAI「叛徒」创立的公司。2020年6月，OpenAI发布第三代大语言模型GPT-4。半年后，负责OpenAI研发的研究副总裁达里奥·阿莫迪（Dario Amodei）和安全政策副总裁丹妮拉·阿莫迪（Daniela Amodei）决定共同离职创业，这就是Anthropic的由来。

当今年年初OpenAI凭借ChatGPT爆红，势头超过曾经的AI王者Google后，Anthropic这家由OpenAI前高管创立的公司得到了Google的青睐。

今年2月，Google一次性向Anthropic注入了3亿美元的投资，换取Anthropic 10%的股权。5月的C轮融资中，Google再次跟投。这两轮融资无疑让外界将其划归到Google阵营，Google与Anthropic，正如微软与OpenAI。

云服务是生成式AI商业化目前最合适的载体，而目前美国最重要的三家云服务供应商恰好是亚马逊、微软与Google。

其中，微软与OpenAI深度绑定，Google拥有自研大模型PaLM2与Gemini，而亚马逊则在生成式AI方面缺少建树。或许是担忧Anthropic与自研大模型的潜在竞争关系，总而言之，Google并没有参与Anthropic这40亿美元融资。而亚马逊则趁机将Anthropic牢牢绑在自己的战车上。

生成式AI独角兽们的格局或许将再次发生改变。

参考链接

https://techcrunch.com/2023/09/25/amazon-to-invest-up-to-4-billion-in-ai-startup-anthropic/

Anthropic拟从Google那里融资20亿美元

据外媒10月4日报道，继亚马逊上周承诺投资Anthropic 40亿美元后，Anthropic又在与包括Google在内的投资者谈判，计划筹集至少20亿美元的新资金。Anthropic是聊天机器人Claude的母公司，为估值仅次于OpenAI的生成式AI独角兽。

继亚马逊之后，Anthropic开始与包括Google在内的投资者洽谈

一周之前，亚马逊才与Anthropic达成投资协议，表示将投资最多40亿美元，并以其中的12.5 亿美元作为初期投资购买少数股权。作为与亚马逊交易的一部分，Anthropic将使用亚马逊云科技（AWS）作为主要云提供商。

目前，Anthropic正在与投资者谈判，以筹集至少20亿美元的新资金。Google预计将在这轮融资中出手。今年2月，Google曾一次性向Anthropic注入了3亿美元的投资，换取Anthropic 10%的股权。5月的C轮融资中，Google再次跟投。

Anthropic在为下一代模型做准备

今年4月，Anthropic曾宣称要创建一个名为「Claude-Next」的模型，其功能要比当今最强大的模型还要强10倍。但是Anthropic也提醒，该项目需要在未来18个月花费10亿美元。通过本次融资，Anthropic将会达成当时宣称的筹集50亿美元的目标。

融资之后，Anthropic的估值或高达300亿美元

目前，Anthropic在生成式AI初创公司融资规模里排名第二，被视为OpenAI最有力的竞争对手。公司的核心产品Claude聊天机器人，功能类似于ChatGPT。

知情人士称，获得新投资之后，这家成立仅2年的初创公司希望估值在200亿至300亿美元之间。这也意味着，自3月以来，Anthropic的估值翻了5倍，其股票价值相较于其营收的倍数将高于OpenAI。Anthropic预计到今年年底收入达到2亿美元。

此外，此次投资对于加密货币交易所FTX具有重要意义。根据彭博报道，FTX及其附属对冲基金Alameda Research曾在破产之前向Anthropic投资了5亿美元，这或将为这家宣布破产的平台带来丰厚回报。

参考链接：

https://www.theinformation.com/articles/openai-rival-anthropic-in-talks-to-raise-2-billion-from-google-others-as-ai-arms-race-accelerates

Meta推出AI助手Meta AI，以及28个个性化聊天机器人

9月27日的Connect开发者大会上，Meta发布人工智能助手Meta AI，以及28个类ChatGPT产品——基于名人角色的聊天机器人。Meta AI需要在Meta旗下的各社交应用中被召唤才能使用，功能是AI助手；而28个聊天机器人则更像28个虚拟人物，主要功能是陪用户聊天。

Meta AI是个多模态的助手

Meta AI由Meta旗下的第二代大语言模型Llama2提供支持，并与微软旗下的搜索引擎Bing合作，为用户提供联网信息。

除了文字聊天，Meta AI还可以根据用户需求生成图像。9月27日的Connect大会上，Meta同时还发布了文生图模型EMU（Expressive Media Universe），除了具备其他文生图模型Midjourney、DALL·E 3那样的文字生成图片功能，Meta新发布的EMU还可以一键生成表情包。Meta称，它用11亿对照片和文本训练了EMU，包括用户共享在Facebook或Instagram上的照片和标题。

用Meta AI生成贴图。

用户只能在Meta旗下的社交产品内使用Meta AI

Meta AI可以在Meta旗下的一系列社交产品比如WhatsApp、Messenger 和Instagram等中使用。只需在消息开头标注「Meta AI」，用户就可以在各种社交、聊天场景中调用Meta AI，请它生成图片、翻译文章或者生成表情包。

未来，该人工智能助手也将用于Meta自研的头显设备Quest 3以及与雷朋联名的智能眼镜。

除了Meta AI，Meta还推出了28个有名人原型的数字人

7日的Connect开发者大会上，Meta还发布了28个个性化聊天机器人。在Meta的定位中，Meta AI是一款高级助手（advanced conversational assistant），28个个性化AI则是有故事背景的角色AI（a new cast of characters – all with unique backstories）。

28个虚拟人物都在Instagram和Facebook上拥有个人资料，用户可以访问它们并与它们聊天。并且，这28个虚拟人物都有在真实世界中的名人原型，例如名为马克斯 (Max) 的副主厨AI能够根据输入系统的食材列表生成食谱，而它的声音来自韩裔厨师Roy Choi。

聊天机器人与数字人只有一个形象的差别。

新皮层曾报道，作为生成式AI领域的后来者，Meta的追赶策略就是推出一系列个性化的聊天机器人，使其与标准化的ChatGPT和Claude区别开来，以吸引年轻用户。「人们不会想要与单一的超级智能AI互动，而是会想和各种不同的AI互动。」扎克伯格说。

如果Meta AI的定位更多是作为助手帮助用户完成与他人的社交，28个个性化AI的主要功能则是吸引用户与它们直接社交。

Meta正花费数百万美元与包括橄榄球明星Tom Brady、网络红人Charli D’Amelio和Paris Hilton等在内的名人商谈，以在其个性化AI中使用他们的声音和肖像。为了与真人区分开来，Meta在AI机器人中使用了虚拟形象并取了新的名字，比如Tom Brady的化身名为Bru，是一位「毫不保留自己观点的机智幽默的体育辩论者」，能够和用户分享丰富的体育知识。

此外，Meta还推出了开发者平台AI Studio，企业和创作者将能够在平台上构建和训练定制的聊天机器人。目标市场是那些有电子商务和客服需求的公司。

参考链接：

https://www.theguardian.com/technology/2023/sep/27/meta-to-launch-ai-chatbots-played-by-snoop-dogg-and-kendall-jenner

美国考虑无限期延长对韩国芯片制造商的中国豁免权

9月27日有报道称，美国商务部考虑无限期延长韩国芯片制造商（三星和SK海力士）在中国市场的豁免权，允许它们将美国芯片设备引进中国。

美国「芯片法案」限制原本获得美资金支持的公司在华生产先进制程芯片

2022年10月，美国颁布规定，禁止美国公司向中国半导体生产企业出口部分尖端半导体生产设备。三星电子和SK海力士等在中国设有半导体工厂的韩国企业当时获得了美国商务部的豁免权，可以在一年内不需要许可证来获得在中国工厂使用的芯片生产设备。

今年3月，美国商务部发布《芯片和科学法》（CHIPS and Science Act，简称芯片法案），其中的「护栏条款」禁止获得美国联邦资金的公司在中国大幅增产先进制程芯片（28纳米及以上），期限为10年。

三星和SK 海力士都有工厂在中国。据统计，SK 海力士在中国无锡的工厂承担了SK海力士约一半的DRAM芯片产量，约占全球DRAM芯片产量的15%。2021年12月，SK 海力士还收购了英特尔位于大连的NAND闪存工厂。

而三星在中国西安市的芯片制造工厂生产的NAND 闪存产量约占其全球40%。此外，三星在苏州还经营着一家半导体封装工厂。

电子研究公司TrendForce数据统计，截至今年6月底，三星和SK 海力士控制着全球近70%的DRAM市场，以及50%的NAND闪存市场。

无限期豁免尚未正式发布

今年5月，韩国政府对「护栏条款」提出正式意见，认为条款给在美国投资的企业带来不正当负担。韩联社报道称，美国商务部已与韩国芯片制造商讨论了可在中国使用设备的细节，并补充说美国最早将于本周发布相关公告。一旦美方更新供应白名单，韩国芯片制造商就无需再单独获得出口许可。

美国考虑无限期豁免韩国芯片制造商对华投资的原因不详，不过对于三星和SK 海力士来说，摆脱对中国市场的依赖是一件难度不小的事。今年以来，SK海力士和三星半导体部门的营收因需求低迷都出现了不同程度的下滑。韩联社称，由于半导体公司业绩不佳，韩国今年国家税收将比预期低59万亿韩元（约合人民币3247亿元）。

参考链接：

https://www.reuters.com/technology/us-indefinitely-extend-waiver-skorean-chipmakers-bring-equipment-into-china-2023-09-27/

-END-