Redian新闻
>
解锁生成式AI万亿规模市场,亚马逊云科技把AIGC门槛打下来了

解锁生成式AI万亿规模市场,亚马逊云科技把AIGC门槛打下来了

科技



  新智元报道  

编辑:编辑部
【新智元导读】生成式AI的变革狂潮中,企业能怎么赚钱?0元可用的代码神器,让Stable Diffusion推理成本直砍50%的工具……亚马逊云科技帮你把门槛打下来了!

ChatGPT一声惊雷,让全球见识到了生成式AI的威力。


当前,生成式AI进入一个爆发时刻,并在许多领域中展现出它的无限潜力。


OpenAI的ChatGPT iOS版,一周之内就突破了50万次下载。AI绘画工具Midjourney,凭借订阅付费模式,在一年内实现了约1亿美元的营收。


现在,基于AIGC的新应用依然层出不穷。Midjourney V5.2可以无限缩放画面,能直接制作镜头伸缩的视频;Figma官宣AI设计能力,创意、绘图、代码全部包含。



整个AI圈,仿佛瞬间都活了起来。


那么,在这轮生成式AI大爆发中,企业应当如何抓住机遇,顺应这一波时代的潮水,得到自己的独特红利?


这届亚马逊云科技中国峰会,给了我们答案。


0代码构建应用


AI大爆发中,许多企业都希望能顺势抓住红利,但无论是成本还是技术壁垒,大模型的门槛之高,都会把许多企业拒之门外。


亚马逊云科技的Amazon Bedrock,就把大模型的门槛打了下来。


在峰会现场,亚马逊云科技全球产品副总裁Matt Wood为我们展示了一个令人印象深刻的无代码产品demo。


Matt表示:「从未有过如此简单、低成本的方式让每个人可以借助机器学习进行代码构建。」



现在,根据下面这个个人用户的每月开销表格, 我们需要开发一个理财应用程序。



从十几个数字中能看出什么呢?用Amazon Bedrock向大模型提问,你会得到惊喜。


首先,在眨眼间,Amazon Bedrock就会得出对表中的信息做总结,根本不用写代码。


在这个收入汇总表中,它概括出了收入和主要支出,并列举了出了主要支出的摘要,还总结出了每月的高频消费。



我们可以问Amazon Bedrock:这个表有哪些异常?


它会告诉你:从收支表可以看出,整个月的开支分配似乎相当不平衡,没有与储蓄或投资相关的交易,整个月只有两笔收入存款,一些支出似乎被过于低估了……总之,问题重重。



除此之外,我们还可以构建一个个性化的财务仪表板。


我们可以问Amazon Bedrock,每年的燃气开销是多少?它会根据数据做出预估:大概占总支出的10%或15%。



要得出这些结论,一行代码都不用写,只需要用自然语言给出提示词即可。


Amazon Bedrock也提供了一个聊天框,这样可以快速向用户展示聊天界面。


最后,通过这个模型,银行就可以向用户提供各种理财建议,让他们做出改进了。


生成式AI的变革


DALL-E 2、Stable Diffusion、ChatGPT等AI工具的相继诞生成功引爆了AIGC时代。


由此,2022年也被称为「生成式AI元年」。


近二十年来,我们见证了从「机器学习」算法到「深度学习」,再到「基础模型」的发展。


随着数据量大规模膨胀,可扩展的算力,再加上机器学习不断创新,生成式AI走向了一个转折点。



AI能够生成内容,是因为基于生成式对抗网络(GAN)、预训练模型等技术,根据已有的数据寻找规律,并通过泛化能力生成一切。


那么,生成式AI具体经历了怎样一个演变,那还得从机器学习说起。


顾名思义,机器学习就是让计算机对数据进行学习,从中找出规律,并建立模型。



根据监督学习方法的差异,机器学习领域出现了两种类型:判别式模型和生成式模型。


前者是对条件概率进行建模,对给定输入进行分类或标记。后者则对联合概率进行建模,根据已有数据生成新的内容。 



直到2014年,Ian Goodfellow等人提出的GAN,传统机器学习模型逐渐转向深度神经网络。


通过利用多层人工神经网络进行学习和训练模型,深度学习很快展现出强大的能力。就连2016年打败人类围棋高手李世石的AlphaGo,其背后原理也是基于深度学习训练的。


与此同时,生成式机器学习模型也被广泛应用于文本、图像、语音等智能生成,由此,人们将其成为「生成式AI」。


随着时间推移,可以看到,深度学习是机器学习的一个分支,而生成式AI是深度学习的分支。



因此,生成式AI并非是全新产物,而是一点点演进而来,因为我们很容易从此前爆火的AI模型中发现它的原型。


就比如,2017年,一位国外小哥Zack Thoutt等不及马丁新作,便用AI——分支循环神经网络(RNN)续写了「冰与火之歌」。


那么,为什么生成式AI在如今才迎来爆发呢?


首先,从模型的规模来讲,更加适用于生成式AI的「大模型」,逐渐取代了「小模型」。


人们发现,随着参数量的不断扩增,更大的基础模型能够取得更好的效果,执行越来越多的复杂任务。



因为当模型达到一定规模时,就会出现一种不可预测的现象,即「涌现」能力。


其次,最值得一提的是,2017年提出的王者架构Transformer,让大模型训练变得更加容易。


比起以往RNN等架构,Transformer能够实现很好的并行性,大幅缩短了训练时间。基于Transformer构建的GPT-4、DELL-E等都是最好的例证。



第三个原因便是算力飞升,CPU/GPU硬件不断突破、充足供应,为大模型的训练和推理提供了巨大算力支撑。


还有最后重要的一点原因是,数据量极大丰富。


一方面GAN的提出,直接突破了以往传统机器学习数据局限,使得大规模无监督学习成为可能。


另一方面,互联网的发展,提供了各种图片、文字、视频等丰富的训练材料。


丰富的数据,更好的模型,以及更强的算力,正是在诸多因素共同作用下,才使得生成式AI在当下迎来大爆发。


生成式AI的火热不仅意味着商业的可能性,更代表着AI进入一个新时代。


在亚马逊云科技中国峰会上,亚马逊云科技全球产品副总裁Matt Wood提到了,生成式AI将最先在四个方面发生深刻的变革。


它们分别是:创意输出、功能增强、交互式体验、决策支持。



创意输出是指通过生成式AI做一些有创造力的工作,比如写作、编码、视频、设计等。


办公软件能够帮你去做总结、分析各种个性化内容的实现,还有进行相关内容搜索,都是功能增强的体现。


另外,交互式体验是通过与包括ChatGPT在内的聊天机器人,进行Q&A互动。最后的决策支持,比如智能数据报表AI助理。


现在,生成式AI的大爆发就在眼前,而且还是多点爆破,许多企业,都希望能抓住机遇。


四大挑战,一站式解决


然而在现实中,企业想要利用生成式AI,还面临着重重困难。


比如,不是每个人都能获得一流的模型、安全和私有的环境,以及低成本和低延迟的基础设施。


那么问题来说,我们如何最大化生成式AI在创意输出、功能增强、交互式体验、决策支持等方面的潜力呢?


首先最重要的,当然就是有性能最强大的一流基础模型,用来构建出色的生成式AI应用。


有了模型之后,就需要一个安全私密的环境,用私有数据来定制化这些模型。


第三,当然就是需要专门构建的机器学习基础设施,以实现低成本的推理。


最后,就需要借助专业的代码生成工具,消除繁重的工作、大幅提升效率。



而亚马逊云科技,正在通过种种服务产品,弥补着这一差距,争取让生成式AI的好处,能够惠及所有企业。


1. 获得一流的模型


在当今的背景之下,大多数公司都有使用大语言模型的需要。便捷的访问,靠谱的模型,都渐渐成为刚需。


然而,真正好的大语言模型,动辄需要数十亿美元的训练,还要经历数年的时间。


大多数企业无法自己实现这个过程,他们希望的是能够从一个庞大的基础模型开始改进,然后根据自己的需求进行定制。


但包括ChatGPT和Bing AI在内的聊天机器人,都无法避免「幻觉」的问题,会输出看起来令人信服、实则是胡说八道的答案。


如何获得一流的模型呢?亚马逊云科技的Amazon Bedrock,就提供了非常好的选择。



首先,Amazon Bedrock最重要的优势就在于,用户可以将其与亚马逊云科技的其他部分集成。这意味着,企业可以更轻松地访问存储在Amazon S3对象存储服务中的数据,并从亚马逊云科技的访问控制和治理策略中受益。


其次,通过Amazon Bedrock,用户可以轻松访问AI21的Jurassic-2、Anthropic的Claude、Stability AI的Stable Diffusion,以及亚马逊云科技自己的Amazon Titan模型。


在这些模型中,最被大家熟知的应该就是来自Anthropic的Claude了,而它的效果和性能也是一众模型中最接近GPT-4的那个。



当然,除了第三方的SOTA模型外,Amazon Bedrock还支持基于亚马逊云科技在机器学习领域20多年经验的——Amazon Titan基础模型。


Amazon Titan包含了两个大语言模型,一个是用于生成文本的Titan Text,一个是让网络搜索个性化的Titan Embedding。



Titan Text针对的是总结、文本生成、分类、开放式问答和信息提取等任务。


用户可以通过自己的数据定制Amazon Titan模型。并且,亚马逊云科技非常保护用户数据隐私,不会将用户数据拿来再训练Amazon Titan模型。


而且,不同于其他大模型时常会出现的「幻觉」,Amazon Titan在训练时非常关注精度,就是为了保证产生的响应一定是高质量的。


2. 安全和私有环境


虽然使用大模型是刚需,但所有客户都不希望自己的数据被拿去训练模型。


此前,三星就被曝出芯片机密代码遭ChatGPT泄露,新程序的源代码、内部会议记录等机密数据都发生了外泄。


另有新闻曝出,谷歌就警告员工,在使用Bard时不要泄露机密信息,或用其生成代码。


美国国会众议院也在近日明确,要求职员仅可使用付费版ChatGPT,不能使用包括免费版ChatGPT在内的其它AI模型,就是为了防止泄密。


在一项调查中亚马逊云科技也发现,由于数据非常宝贵,因此客户的一个关键需求就是,在模型训练的过程中时刻保持数据的安全和隐私。


Amazon Bedrock的Amazon SageMaker,正提供了这样一个安全的模型训练环境,可以让客户把预训练模型通过在自己的数据上微调,变成一个定制化的模型。


亚马逊云科技的副总裁表示,客户可以使用自己的数据定制Amazon Titan模型,但这些数据永远不会用于训练Amazon Titan模型,可以保证其他客户(包括竞争对手),都不会从这些数据中获益。


3. 低成本和低延迟


而在这些基础上,就需要有相应的工具实现更快的开发。


推理芯片和训练芯片,都是为了帮助客户去更好地实现算力上的高性价比。


现在大家面临的情况是,GPU的成本都非常高。Sam Altman曾透露,OpenAI创建GPT-4的成本,已经超过了1亿美元。


而OpenAI的内部会议上也曝出:OpenAI目前严重受限于GPU,训练大模型动辄需要千万美元,何况每天还有ChatGPT的上亿用户在消耗着海量的算力资源。


大模型时代,得算力者得天下。


对此,亚马逊云科技推出的训练和推理芯片Amazon Inferentia、Amazon Inferentia2和Amazon Trainium,就加速了AI工具的开发过程。



Amazon Trainium是亚马逊云科技专门为超过1000亿参数模型的深度学习训练打造的第二代机器学习加速器。


每个Amazon Elastic Compute Cloud(EC2)Trn1 实例可部署多达16个Trainium加速器,为云中的深度学习(DL)训练提供高性能、低成本的解决方案。


Amazon Inferentia是亚马逊云科技设计的一款机器学习推理加速器,可在云中提供高性能和低成本的机器学习推理。


与第一代Amazon Inferentia相比,Amazon Inferentia2加速器在性能和功能方面实现了重大飞跃,吞吐量提高了4倍,延迟低至前者的1/10。


在模型训练过程中,训练效率和性价比是最重要的指标。


基于Amazon Trainium的Trn1的实例表现,单节点的吞吐量可以提升1.2倍,而多节点吞吐量可以提升1.5倍。从成本考虑,单节点降低1.8倍,集群更是降低了2.3倍。



而推理往往需要考虑吞吐量和延迟。更高的吞吐量,当然能带来更高的性价比。然而这两者,对于开发者来说,往往不可兼得。


Amazon Inferentia2的实例测试表明,其吞吐量可以提升3倍,延迟降低8.1倍,而成本只是1/4。



那么Amazon Inferentia2在大语言模型性能表现如何?


用业界常用的开源模型OPT-30B做测试,Amazon Inferentia2吞吐量增加了65%,推理成本降低52%,基本上是一半的成本。



跑视觉模型Stable Diffusion时,Amazon Inferentia2可以实现50%更低的成本。



亚马逊云科技的训练和推理芯片,能够帮助客户在算力上实现高性价比。


4. 专业的代码生成


在有了便宜高效的算力之后,另一个让企业开发者头大的问题,就是代码了。


而随着各种Copilot,以及类ChatGPT大语言模型的发布,越来越多的开发者也开始把AI编码辅助工具加入自己的工作流。


前段时间,GiHub就展开了一项关于「AI对开发者体验影响」的调查。


从结果来看,几乎所有(92%)的开发人员都会在工作中使用AI编码工具,大多数(67%)开发者在工作环境和个人时间中都使用过,不过还有6%的开发人员表示他们只在工作之外使用编码辅助工具。


其中,更是有超过70%的开发者表示,AI编码工具可以满足现有的性能标准、提高代码质量、更快地输出代码,而且生产级事故也会更少。



无独有偶,亚马逊云科技也曾进行过一个生产力挑战。


结果显示,使用自家Amazon CodeWhisperer的参与者在任务的完成率上,要比不使用的高了27%,而平均速度更是快了57%。



然而,这对于项目负责人来说,却是一个不小的挑战。


由于大模型的「幻觉」问题,此时的代码和安全审查就变得尤为重要了。


为了解决这些挑战,亚马逊云科技全面推出了AI加持的代码开发工具Amazon CodeWhisperer,可以让用户实现更快、更稳健的开发。



具体来说,经过数十亿行亚马逊和公开可用代码的训练之后,Amazon CodeWhisperer不仅可以理解用自然语言(英语)编写的注释,还能实时生成整个函数和代码的逻辑块(通常包含10-15行代码)。


代码生成


与此同时,Amazon CodeWhisperer还会自动过滤掉任何可能有偏见或不公平的代码建议,并且对疑似开源代码进行过滤和标记。


要知道,开发者从网上复制代码片段时,很可能就会复制了有安全隐患的代码,或者对开源代码的使用没有进行有效的追溯。而Amazon CodeWhisperer大大扫清了这些潜在的问题。


参考检查


在安全方面,Amazon CodeWhisperer也是查漏洞、debug样样精通。而且它查起bug来还非常细致,不仅会扫描开发者编写的代码,甚至连自己生成的都不放过。


安全检查


当然,对于个人用户来说,最重要的一点便是——Amazon CodeWhisperer可以免费用!



端到端的云原生数据战略


数据爆炸不是未来,而是现实。


生成式人工智能狂飙猛进的背后,是海量数据在发挥着巨大的价值。


可以看到,数据不仅是AI发展的驱动力,更是商业和社会创新的核心要素。数据驱动的决策和洞察力已经成为各行各业的竞争优势。


Matt在峰会上表示,「我相信数据是现代革新的起源,尤其是生成式AI」。



而如何管理海量数据,挖掘数据价值,对每个企业来说都是巨大的挑战。


当前,我们需要的不仅仅是变革性技术和完善的基础设施,更需要一个端到端的云原生数据战略,进而用数据创造新的idea。


而一个强大云原生数据战略,应当有三个核心特征:全面的、集成的和受治理的。



1. 全面的数据服务


「全面」简言之,能够提供一套工具适用于任何case。


从2006年,亚马逊云科技发布了第一个储存服务Amazon S3开始,便致力于探索云原生数据服务的边界。


亚马逊云科技提供了一套全球领先的、全类别云数据库服务,以及最全面的数据分析服务。


就数据库讲,有关系型数据库、非关系型数据库8大类型。



在数据分析服务方面,有交互式查询的Amazon Athena、大数据分析服务Amazon EMR、云上数据仓库Amazon Redshift、商业智能工具Amazon QuickSight,做日志分析的Amazon OpenSearch等。



2. 互相集成数据源


此外,连接数据的能力,实现数据一体化融合也是非常重要。


这样做的优势在于,把所有数据资产连接,能够让客户更容易获取数据。


当前,亚马逊云科技将很多产品之间做了深度集成,其中就包括Amazon S3、Amazon Redshift等。



而最最重要的是,亚马逊云科技正在致力实现一个「Zero ETL」愿景。


ETL是指数据的提取、转换和加载过程。以往,业务数据往往需要通过ETL,才能进行分析从而提供洞察。


然而,这一过程非常耗时且复杂,「Zero ETL」是迈出的关键一步。


Amazon re:Invent 2022全球大会上,亚马逊云科技全新发布的Amazon Aurora zero-ETL与Amazon Redshift集成功能,能够帮助客户实时分析PB级交易数据。



此外,亚马逊云科技数据服务可以与外部数据库实现Zero的集成。


让数据实现一体化融合,将其数据库、数据服务底层打通,由此数据实现「无感知」流动。


3. 正确的治理策略


当前,数据爆炸性增长,为数据治理带来了前所未有的复杂度。


要知道,良好的治理是整个团队可以访问数据的基础。


在数据治理过程中,通常涉及到不同团队、应用和权限管理,由此当前急需细颗粒度的数据治理。


亚马逊云科技全新的数据管理服务Amazon DataZone,可以帮助企业对内部数据进行编目、发现、共享和治理。



通过自身17年的数据创新经验,亚马逊云科技总结出云原生数据战略的重要构成要素。


F1、阿凡达2,全靠它


如今的AIGC大爆发,突发的用量都对系统提出了更高的需求,当海量用户暴涨时,如何应对弹性变化?


基于一流的模型、安全的环境,以及低成本和低延迟的基础设施,亚马逊云科技为客户所面对的各类棘手挑战提供了支持。



比如,在世界上最受欢迎的体育赛事之一——F1赛车中,就大量用到了亚马逊云科技的算力,形成了高性能业务场景,在高速度中进行大量的模拟。


提供关键支持的,正是亚马逊云科技的三大法宝——Amazon SageMaker、Amazon Kinesis和Amazon S3。


每辆F1赛车上都有300个传感器,每秒可产生超过110万个数据点,并从赛车传输到维修站,因此 F1 是一项真正以数据为驱动的运动。



亚马逊云科技能够带来的是,高性能计算。F1能够运行空气动力学模拟,用比以往快70%的速度开发,并打造出一款能将下压力损失从50%降低到15%的赛车。


而压力损失的大幅降低,可以让车手有了更多超车机会,表现也得到提升。


此外,F1还利用Amazon S3上存储的70年历史比赛数据,通过复杂的模型进行分析,作为丰富的数据洞察与车迷分享,揭示出瞬间决策的细微差别,并通过这些先进的统计数据突出不同车手的表现。



再举个栗子,维塔数码是全球领先的综合性视觉效果公司,创作了《阿凡达》、《指环王》、《猩球崛起》一系列巨作。


在《阿凡达:水之道》中,亚马逊云科技在8个月内完成了高达33亿渲染线程小时的云上制作,助力其打造48FPS HFR的逼真特效并按时交付,保证了影片的顺利上映。


早在2020年,视频特效制作公司 Wētā FX 公司已将业务全面部署至亚马逊云科技,创建了新的基于云的视觉特效(VFX)制作流程。



Wētā FX 在电影中创造了令人难忘的场景和人物,包括《阿凡达》中的纳美族和潘多拉星球的美丽风景。


亚马逊云科技为工作室提供了最全面的内容制作云功能集,并且使他们在几小时内就能建立创意工作站,无需耗费几周时间。


而工作室则获得了近乎无限的扩展能力,可以在亚马逊云基础设施中按需渲染。



除了以上实例,地球已经不是云计算的边界,亚马逊云科技的技术已经可以在太空这种极端环境中收集、处理数据,并做出实时的决定。


生成式AI大爆发,在这个人工智能的iPhone时刻,越来越多的企业想要抓住机遇,同时面临着挑战。


而面对全球算力井喷带来的挑战,亚马逊云科技通过自研芯片提供高性价比、各种丰富的弹性计算存储服务组合,以及简化算力的Serverless架构去解决问题。


目前,亚马逊云科技的在全球部署这无处不在的云服务,全球31个区域的99个可用区,已经覆盖了245个国家和地区。



在AI领域深耕25年的亚马逊云科技,为10万+客户提供AI和机器学习服务来抓住当下生成式AI挑战和机遇。


从另一面来看,这个选择是双向的,越来越多客户的加入也是对亚马逊云科技AI能力和战略的认可。

在演讲结尾,亚马逊云科技全球产品副总裁Matt Wood引用了Bob Dylan的这首著名歌曲<The Times They Are A-Changin'>:

不要急着说话,因为轮子还在旋转 
而且不知道它的名字是谁 
不要站在门口,不要堵住大厅 
谁停滞不前,谁就会受伤 
外面有一场战斗,正在肆虐 
很快,它会摇晃你的窗户,震动你的墙壁


时代变了,我们应该向旧传统决裂。


同样,生成式AI的到来,也在让这个时代改变。


当下,亚马逊云科技正在做的,是帮助让每个企业利用好AI,释放生成式AI的巨大潜力。

点击「阅读原文」
立即了解更多2023亚马逊云科技中国峰会信息




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
2023最重磅!亚马逊云科技出海日金融专场等你!20年不变的初心,亚马逊云科技为初创企业的独角兽梦想加速赋能!几张照片即可定制自己的3D化身,还能换装!南京大学发布AvatarBooth:3D模型的制作门槛被打下来了!亚马逊云科技 Lambda 引入响应有效负载流《所谓幸福》&《春日呓语》亚马逊云科技将对公共 IPv4 地址收费倒数7天!交易门 X 亚马逊云约你深圳见!第一百零七章 脱险美国人对中国的看法直线下降。那中国人对美国的看法又是如何呢?650亿参数,8块GPU就能全参数微调:邱锡鹏团队把大模型门槛打下来了大咖云集,干货满满,来亚马逊云科技中国峰会深度解读AIGC的现在和未来【老键曲库】18岁的忧伤者 Asadof - Dark SunAgent:OpenAI的下一步,亚马逊云科技站在第5层Cloudflare 的 Kafka 之旅:万亿规模消息处理经验分享亚马逊云科技,定义了生成式AI的生产力深度分析微软,谷歌,亚马逊三大公有云厂商的生成式AI的战略发展。。。从「生成式AI」转化为「生产力」,亚马逊云科技划出重点云端安全由繁到简,云安全文化护航下的“业务创新”进入新局面? | 亚马逊云科技 re:Inforce 2023 全球大会押宝生成式AI和广告,亚马逊赢面大吗?亚马逊确认正投资生成式AI,计划为广告商制作照片及视频解锁生成式 AI 潜力:NVIDIA 全栈智能网络技术支撑数据中心的进化大模型显卡门槛,被打下来了!EMQ & 亚马逊云科技联合主题沙龙:新经济周期下企业出海的数字化引擎杭州判决首例涉虚拟数字人侵权案;淘宝推出20周年纪念活动;亚马逊投资生成式AI…| 刀法品牌热讯彻底开源,免费商用,上海AI实验室把大模型门槛打下来拥抱新技术,解锁生成式 AI 核心价值! 亚马逊云科技中国峰会精彩看点【解锁生机! 拥抱春日】主题作品征集活动结果公布!奔赴一场春日浪漫~对话出海企业:“云襄百业,共拓全球”——2023亚马逊云科技出海日圆桌论坛2.42万亿规模,指数基金增速显热度 | 另类投资气象第367期程一笑:快手电商GMV进入万亿规模如何解锁生成式人工智能的隐藏价值650亿参数,8块GPU就能全参数微调!邱锡鹏团队把大模型门槛打下来了!只有爱是不够的亚马逊云科技:双向奔赴,全球合作伙伴网络为企业出海铺路!万亿规模中原银行何以沦为“仙股”?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。