Redian新闻
>
生成式AI的未来,该往哪里走?

生成式AI的未来,该往哪里走?

科技

本文首发微信公众号:飞总聊IT


成式AI,最近受到了很大的关注。和传统的AI不同,生成式AI用大量的未标记数据预先训练一个大模型,通常被称为基础模型(Foundation Models)。这个大模型包含了很大量的参数,可以执行跨多个领域的多种任务,例如写博客文章、生成图像、解决算术问题、对话聊天,基于文档回答问题等。


更为重要的是,只需要少量的客户特定的数据和少量的计算资源,该基础模型就可以进行定制化微调。定制化的基础模型可以为特定领域的特定客户带来独有的体验。这种能力,对客户非常有吸引力。


下图展示了生成式AI和传统机器学习的不同:



但是在现实的层面,生成式AI的发展遇到了很多问题。这些问题主要体现在两个方面:构建生成式AI基础模型的创业公司,和使用生成式AI基础模型的客户。


一方面,市场上有很多的创业公司,它们在生成式AI的特定的领域非常的有经验。比如说AI21 Labs是一家著名的生成式AI基础模型公司,它家的基础模型Jurassic-2系列,它可以用多种语言来生成流畅、有逻辑、有创意的文本。


又比如说,生成式AI初创企业Anthropic,它家开发的对话机器人Claude,基于负责任的AI原则来设计,可以执行多种对话和文本处理任务。


再比如说,绘图生成式AI公司Stability AI,它家开发的生成式AI Stable Diffusion,是目前最先进的图像生成模型之一,可以生成逼真、精美、独特的图像、艺术作品、商标和其它设计图。


这些初创企业面临两方面的问题。一方面,生成式AI的发展,离不开大量的没有标注的训练数据的存在。任何一个生成式AI的基础模型的训练,都需要使用无数的机器,输入大量数据,耗费极高的钱和时间。


而对那些有志于在生成式AI方向创业的公司来说,购置大量机器进行生成式AI基础模型的训练的成本是非常昂贵的。有的时候甚至是负担不起的。生成式AI的创业公司,急需一种可负担的,价格低廉,效率高的生成式AI基础模型训练的硬件环境。


一方面,这些初创公司即使有了生成式AI的基础模型之后,面临的另外一个严峻问题是:它们怎么去服务客户?如果客户需要自己购买硬件,部署环境,才能够把模型使用起来,那么这对客户来说,使用基础模型的成本太高了,显然不利于客户使用基础模型。


另外一方面,由于生成式AI的基础模型的特性,只需要少量的计算资源和少量的客户数据,就可以通过对基础模型的微调进行定制化,从而体现这个客户的方方面面的企业特点。客户们当然是非常喜欢围绕生成式AI的基础模型构建自己的应用的。


但是这些客户的顾虑同样也很明显,客户的顾虑也体现在两个方面。一方面,如果客户需要购买硬件,部署环境才能够把生成式AI基础模型用起来的话,使用门槛太高了。很多用户无法接受。最好的方式就是有一种SaaS化,基于API的服务,客户只需要调用API就可以了。


客户的另外一个顾虑是如何保证自己微调的模型和自己的数据的安全。毕竟使用了自己的数据进行微调以后的基础模型,已经具备了自家企业的特点,而自己的数据更是公司的核心机密,万一在使用基础模型构建生成式AI的应用中导致自己的数据泄密,这将会是一个巨大的灾难。这些,显然都限制了用户更好地使用生成式AI。


2023年4月13日,亚马逊云科技宣布推出Amazon Bedrock服务,以及Amazon EC2 Trn1n和Amazon EC2 Inf2实例,还有Amazon CodeWhisperer等一系列生成式AI新工具和产品。这些产品有效地解决了生成式AI所面临的上述困境。


首先,对需要训练基础模型的生成式AI创业公司来说,亚马逊云科技这次发布的Amazon EC2 Trn1n和Amazon EC2 Inf2实例是专门为生成式AI训练和推理而设计的云计算基础设施。

我们知道,越是通用的硬件,其针对特定任务的效率就越低。从这个角度看,在机器学习方面,CPU的效率和GPU是不可同日而语的。而同样的道理,针对深度学习这种特定的应用来说,它只需要高效率地解决单精度的线性代数相关的运算,GPU也是过于通用化了。


所以亚马逊云科技选择了自研专用芯片进行深度学习的训练和推理。Trn1n实例是基于亚马逊云科技自研的Trainium芯片,提供了高性能、低成本且为机器学习专门构建的基础设施。Trn1n实例在构建大规模网络密集型模型时的性能可以提高20%以上,而成本可以节省50%以上。


Inf2实例是基于亚马逊云科技自研的Inferentia2芯片,在性能和能效方面达到了新的高度,在成本方面又低了一大截。Inf2实例的吞吐提高了最多四倍,而延迟相较于上代降低了最多10倍以上,性价比相比其他EC2实例提高了最多40%。



这些硬件有极高的性能和性价比,所以很多初创公司,比如说AI21 Labs,Hugging Face,Anthropic,Stability AI在训练大语言模型的时候,都选择了在亚马逊云科技上运行。


其次,针对基础模型的拥有者如何有效地服务客户,以及客户使用基础模型中面临的诸多顾虑,亚马逊云科技推出了Amazon Bedrock。


Amazon Bedrock是亚马逊云科技推出的一个新的服务。其服务的核心是围绕基础模型展开的。它可以让用户通过简单的SaaS API来访问来自不同供应商的基础模型,并利用它们来构建生成式AI应用程序。


Amazon Bedrock支持很多第三方基础模型,首发的有AI21 Labs的Jurassic-2,Anthropic的Claude,以及Stability AI开发的Stable Diffusion。



当然用户也可以选择亚马逊云科技自研的基础模型:Amazon Titan。该模型是由亚马逊云科技在内部训练的一系列基础模型,目前包括两种:文本生成模型和文本嵌入模型。


文本生成模型可以执行诸如撰写博客文章和电子邮件、总结文档以及从数据库中提取信息等任务。


文本嵌入模型能够将文本输入(字词、短语甚至是大篇幅文章)翻译成包含语义的数字表达(即embeddings嵌入编码)。这种模型对个性化推荐和搜索等应用程序却大有好处,因为相对于匹配文字,对比编码可以帮助模型反馈更相关、更符合情境的结果。



由于Amazon Bedrock可以让用户通过简单的SaaS API来访问基础模型,这既解决了基础模型拥有者如何服务客户的顾虑,也解决了客户如何访问基础模型的担忧。两者都不用担心客户需要自己购买硬件,部署环境等一系列繁琐的操作。


基础模型的精髓之一在于它可以通过微调对模型进行定制,从而更好反映出客户的特色来。Amazon Bedrock为客户提供了基于客户数据的模型微调功能,可以让用户定制化基础模型。


而客户最担心的自身数据的安全需求,Amazon Bedrock也提供了保障,用户的数据可以存放在自己的VPC里面,不会泄露。


由此可见Amazon Bedrock服务,以及Amazon EC2 Trn1n和Amazon EC2 Inf2实例的推出,既解决了生成式AI初创公司训练基础模型的顾虑,也解决了生成式AI初创公司如何向用户提供基础模型的服务的顾虑,还解决了客户使用基础模型的时候的各种顾虑。


亚马逊云科技这次推出的一系列新的服务和工具,为生成式AI技术的落地和发展,指明了前进的方向。


据可靠消息:5月25日将举办亚马逊云科技大模型及生成式AI发布深度解读大会,敬请期待。


戳下方链接或点击文末“阅读原文”,可进行大会报名~


https://www.awsevents.cn/innovate/ai2023/registerSignUp.aspx?s=8440&smid=17578%E2%80%8B

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
【2.5万字实录】OnBoard!硬核对话Google Brain, Stability AI: 生成式AI的技术实践与商业未来美国西部乡村音乐剧《I love Bandits》(1)王石:面对不确定的未来,仍然乐观未来十年中国人该往哪里移民?这篇攻略告诉你晶圆厂的未来,取决于这一点COSTCO的佛跳墙,牙痛的始末将被eBay赶超,亚马逊的未来在哪里?面临国外竞争加剧和成本上升,耐克的未来在哪里?中国的新能源车企,该往外走了关于房地产的未来,王石这样说……未来26年,广州往哪个方向发展?广州城市发展战略有哪些新思路?存款利率越来越低,钱还能往哪里放?中国医学的未来,靠谁支撑?首个由人工智能生成的游戏和电影问世,探秘生成式 AI 如何发展(附相关人工智能产品集)没有EUV,中芯国际的未来怎么走?智能周报|ChatGPT在美国App Store上线;华裔数学家将主持白宫生成式AI工作组;WPS AI全面到来,但……金融业往哪走?金融与实体经济新的结合点又在哪里,一场闭门午餐会给出答案提问“我们该往何处去”之后|接力访问 035 滕宇堃17位设计师共议:生成式AI浪潮下的设计未来早财经丨卢拉抵沪准备参观华为;美国3月CPI同比上涨5%,美股收跌;全面停用文案外包,未来或改用生成式AI?巨头回应:属实究竟该往哪国移?日本适合学生,澳洲爱技术人才,英国吸引企业家…青蛙大呱一声:生物多样性,该往农田看一看了!一般人的未来机会在哪里?看下正发生的三场大变革!引领精简护肤的未来,芙丽芳丝开启品牌新时代改革开放几十年迷外驯化入骨髓透视2023年“专精特新”最新政策,中小企业今年该往哪走?特朗普模仿拜登:“我往哪走?”乌克兰大坝炸毁后,水往哪里流?曾遭日本屠杀霸占,现被美国污染欺凌,琉球人民的未来在哪里?全球最佳咨询公司今年又是他们!哪些细分领域是他们的头牌?留学生该往哪儿冲?重磅!网信办发布《生成式人工智能服务管理办法(征求意见稿)》: 内容应当真实准确,预防生成虚假信息【我村排长】老人有种说法生擒貓头鹰衰运到他家印象分享:人从哪里来,干什么,要去哪里?希腊的未来,你可能高攀不起了!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。