Redian新闻
>
解锁生成式AI万亿规模市场,亚马逊云科技把AIGC门槛打下来了

解锁生成式AI万亿规模市场,亚马逊云科技把AIGC门槛打下来了

科技



  新智元报道  

编辑:编辑部
【新智元导读】生成式AI的变革狂潮中,企业能怎么赚钱?0元可用的代码神器,让Stable Diffusion推理成本直砍50%的工具……亚马逊云科技帮你把门槛打下来了!

ChatGPT一声惊雷,让全球见识到了生成式AI的威力。


当前,生成式AI进入一个爆发时刻,并在许多领域中展现出它的无限潜力。


OpenAI的ChatGPT iOS版,一周之内就突破了50万次下载。AI绘画工具Midjourney,凭借订阅付费模式,在一年内实现了约1亿美元的营收。


现在,基于AIGC的新应用依然层出不穷。Midjourney V5.2可以无限缩放画面,能直接制作镜头伸缩的视频;Figma官宣AI设计能力,创意、绘图、代码全部包含。



整个AI圈,仿佛瞬间都活了起来。


那么,在这轮生成式AI大爆发中,企业应当如何抓住机遇,顺应这一波时代的潮水,得到自己的独特红利?


这届亚马逊云科技中国峰会,给了我们答案。


0代码构建应用


AI大爆发中,许多企业都希望能顺势抓住红利,但无论是成本还是技术壁垒,大模型的门槛之高,都会把许多企业拒之门外。


亚马逊云科技的Amazon Bedrock,就把大模型的门槛打了下来。


在峰会现场,亚马逊云科技全球产品副总裁Matt Wood为我们展示了一个令人印象深刻的无代码产品demo。


Matt表示:「从未有过如此简单、低成本的方式让每个人可以借助机器学习进行代码构建。」



现在,根据下面这个个人用户的每月开销表格, 我们需要开发一个理财应用程序。



从十几个数字中能看出什么呢?用Amazon Bedrock向大模型提问,你会得到惊喜。


首先,在眨眼间,Amazon Bedrock就会得出对表中的信息做总结,根本不用写代码。


在这个收入汇总表中,它概括出了收入和主要支出,并列举了出了主要支出的摘要,还总结出了每月的高频消费。



我们可以问Amazon Bedrock:这个表有哪些异常?


它会告诉你:从收支表可以看出,整个月的开支分配似乎相当不平衡,没有与储蓄或投资相关的交易,整个月只有两笔收入存款,一些支出似乎被过于低估了……总之,问题重重。



除此之外,我们还可以构建一个个性化的财务仪表板。


我们可以问Amazon Bedrock,每年的燃气开销是多少?它会根据数据做出预估:大概占总支出的10%或15%。



要得出这些结论,一行代码都不用写,只需要用自然语言给出提示词即可。


Amazon Bedrock也提供了一个聊天框,这样可以快速向用户展示聊天界面。


最后,通过这个模型,银行就可以向用户提供各种理财建议,让他们做出改进了。


生成式AI的变革


DALL-E 2、Stable Diffusion、ChatGPT等AI工具的相继诞生成功引爆了AIGC时代。


由此,2022年也被称为「生成式AI元年」。


近二十年来,我们见证了从「机器学习」算法到「深度学习」,再到「基础模型」的发展。


随着数据量大规模膨胀,可扩展的算力,再加上机器学习不断创新,生成式AI走向了一个转折点。



AI能够生成内容,是因为基于生成式对抗网络(GAN)、预训练模型等技术,根据已有的数据寻找规律,并通过泛化能力生成一切。


那么,生成式AI具体经历了怎样一个演变,那还得从机器学习说起。


顾名思义,机器学习就是让计算机对数据进行学习,从中找出规律,并建立模型。



根据监督学习方法的差异,机器学习领域出现了两种类型:判别式模型和生成式模型。


前者是对条件概率进行建模,对给定输入进行分类或标记。后者则对联合概率进行建模,根据已有数据生成新的内容。 



直到2014年,Ian Goodfellow等人提出的GAN,传统机器学习模型逐渐转向深度神经网络。


通过利用多层人工神经网络进行学习和训练模型,深度学习很快展现出强大的能力。就连2016年打败人类围棋高手李世石的AlphaGo,其背后原理也是基于深度学习训练的。


与此同时,生成式机器学习模型也被广泛应用于文本、图像、语音等智能生成,由此,人们将其成为「生成式AI」。


随着时间推移,可以看到,深度学习是机器学习的一个分支,而生成式AI是深度学习的分支。



因此,生成式AI并非是全新产物,而是一点点演进而来,因为我们很容易从此前爆火的AI模型中发现它的原型。


就比如,2017年,一位国外小哥Zack Thoutt等不及马丁新作,便用AI——分支循环神经网络(RNN)续写了「冰与火之歌」。


那么,为什么生成式AI在如今才迎来爆发呢?


首先,从模型的规模来讲,更加适用于生成式AI的「大模型」,逐渐取代了「小模型」。


人们发现,随着参数量的不断扩增,更大的基础模型能够取得更好的效果,执行越来越多的复杂任务。



因为当模型达到一定规模时,就会出现一种不可预测的现象,即「涌现」能力。


其次,最值得一提的是,2017年提出的王者架构Transformer,让大模型训练变得更加容易。


比起以往RNN等架构,Transformer能够实现很好的并行性,大幅缩短了训练时间。基于Transformer构建的GPT-4、DELL-E等都是最好的例证。



第三个原因便是算力飞升,CPU/GPU硬件不断突破、充足供应,为大模型的训练和推理提供了巨大算力支撑。


还有最后重要的一点原因是,数据量极大丰富。


一方面GAN的提出,直接突破了以往传统机器学习数据局限,使得大规模无监督学习成为可能。


另一方面,互联网的发展,提供了各种图片、文字、视频等丰富的训练材料。


丰富的数据,更好的模型,以及更强的算力,正是在诸多因素共同作用下,才使得生成式AI在当下迎来大爆发。


生成式AI的火热不仅意味着商业的可能性,更代表着AI进入一个新时代。


在亚马逊云科技中国峰会上,亚马逊云科技全球产品副总裁Matt Wood提到了,生成式AI将最先在四个方面发生深刻的变革。


它们分别是:创意输出、功能增强、交互式体验、决策支持。



创意输出是指通过生成式AI做一些有创造力的工作,比如写作、编码、视频、设计等。


办公软件能够帮你去做总结、分析各种个性化内容的实现,还有进行相关内容搜索,都是功能增强的体现。


另外,交互式体验是通过与包括ChatGPT在内的聊天机器人,进行Q&A互动。最后的决策支持,比如智能数据报表AI助理。


现在,生成式AI的大爆发就在眼前,而且还是多点爆破,许多企业,都希望能抓住机遇。


四大挑战,一站式解决


然而在现实中,企业想要利用生成式AI,还面临着重重困难。


比如,不是每个人都能获得一流的模型、安全和私有的环境,以及低成本和低延迟的基础设施。


那么问题来说,我们如何最大化生成式AI在创意输出、功能增强、交互式体验、决策支持等方面的潜力呢?


首先最重要的,当然就是有性能最强大的一流基础模型,用来构建出色的生成式AI应用。


有了模型之后,就需要一个安全私密的环境,用私有数据来定制化这些模型。


第三,当然就是需要专门构建的机器学习基础设施,以实现低成本的推理。


最后,就需要借助专业的代码生成工具,消除繁重的工作、大幅提升效率。



而亚马逊云科技,正在通过种种服务产品,弥补着这一差距,争取让生成式AI的好处,能够惠及所有企业。


1. 获得一流的模型


在当今的背景之下,大多数公司都有使用大语言模型的需要。便捷的访问,靠谱的模型,都渐渐成为刚需。


然而,真正好的大语言模型,动辄需要数十亿美元的训练,还要经历数年的时间。


大多数企业无法自己实现这个过程,他们希望的是能够从一个庞大的基础模型开始改进,然后根据自己的需求进行定制。


但包括ChatGPT和Bing AI在内的聊天机器人,都无法避免「幻觉」的问题,会输出看起来令人信服、实则是胡说八道的答案。


如何获得一流的模型呢?亚马逊云科技的Amazon Bedrock,就提供了非常好的选择。



首先,Amazon Bedrock最重要的优势就在于,用户可以将其与亚马逊云科技的其他部分集成。这意味着,企业可以更轻松地访问存储在Amazon S3对象存储服务中的数据,并从亚马逊云科技的访问控制和治理策略中受益。


其次,通过Amazon Bedrock,用户可以轻松访问AI21的Jurassic-2、Anthropic的Claude、Stability AI的Stable Diffusion,以及亚马逊云科技自己的Amazon Titan模型。


在这些模型中,最被大家熟知的应该就是来自Anthropic的Claude了,而它的效果和性能也是一众模型中最接近GPT-4的那个。



当然,除了第三方的SOTA模型外,Amazon Bedrock还支持基于亚马逊云科技在机器学习领域20多年经验的——Amazon Titan基础模型。


Amazon Titan包含了两个大语言模型,一个是用于生成文本的Titan Text,一个是让网络搜索个性化的Titan Embedding。



Titan Text针对的是总结、文本生成、分类、开放式问答和信息提取等任务。


用户可以通过自己的数据定制Amazon Titan模型。并且,亚马逊云科技非常保护用户数据隐私,不会将用户数据拿来再训练Amazon Titan模型。


而且,不同于其他大模型时常会出现的「幻觉」,Amazon Titan在训练时非常关注精度,就是为了保证产生的响应一定是高质量的。


2. 安全和私有环境


虽然使用大模型是刚需,但所有客户都不希望自己的数据被拿去训练模型。


此前,三星就被曝出芯片机密代码遭ChatGPT泄露,新程序的源代码、内部会议记录等机密数据都发生了外泄。


另有新闻曝出,谷歌就警告员工,在使用Bard时不要泄露机密信息,或用其生成代码。


美国国会众议院也在近日明确,要求职员仅可使用付费版ChatGPT,不能使用包括免费版ChatGPT在内的其它AI模型,就是为了防止泄密。


在一项调查中亚马逊云科技也发现,由于数据非常宝贵,因此客户的一个关键需求就是,在模型训练的过程中时刻保持数据的安全和隐私。


Amazon Bedrock的Amazon SageMaker,正提供了这样一个安全的模型训练环境,可以让客户把预训练模型通过在自己的数据上微调,变成一个定制化的模型。


亚马逊云科技的副总裁表示,客户可以使用自己的数据定制Amazon Titan模型,但这些数据永远不会用于训练Amazon Titan模型,可以保证其他客户(包括竞争对手),都不会从这些数据中获益。


3. 低成本和低延迟


而在这些基础上,就需要有相应的工具实现更快的开发。


推理芯片和训练芯片,都是为了帮助客户去更好地实现算力上的高性价比。


现在大家面临的情况是,GPU的成本都非常高。Sam Altman曾透露,OpenAI创建GPT-4的成本,已经超过了1亿美元。


而OpenAI的内部会议上也曝出:OpenAI目前严重受限于GPU,训练大模型动辄需要千万美元,何况每天还有ChatGPT的上亿用户在消耗着海量的算力资源。


大模型时代,得算力者得天下。


对此,亚马逊云科技推出的训练和推理芯片Amazon Inferentia、Amazon Inferentia2和Amazon Trainium,就加速了AI工具的开发过程。



Amazon Trainium是亚马逊云科技专门为超过1000亿参数模型的深度学习训练打造的第二代机器学习加速器。


每个Amazon Elastic Compute Cloud(EC2)Trn1 实例可部署多达16个Trainium加速器,为云中的深度学习(DL)训练提供高性能、低成本的解决方案。


Amazon Inferentia是亚马逊云科技设计的一款机器学习推理加速器,可在云中提供高性能和低成本的机器学习推理。


与第一代Amazon Inferentia相比,Amazon Inferentia2加速器在性能和功能方面实现了重大飞跃,吞吐量提高了4倍,延迟低至前者的1/10。


在模型训练过程中,训练效率和性价比是最重要的指标。


基于Amazon Trainium的Trn1的实例表现,单节点的吞吐量可以提升1.2倍,而多节点吞吐量可以提升1.5倍。从成本考虑,单节点降低1.8倍,集群更是降低了2.3倍。



而推理往往需要考虑吞吐量和延迟。更高的吞吐量,当然能带来更高的性价比。然而这两者,对于开发者来说,往往不可兼得。


Amazon Inferentia2的实例测试表明,其吞吐量可以提升3倍,延迟降低8.1倍,而成本只是1/4。



那么Amazon Inferentia2在大语言模型性能表现如何?


用业界常用的开源模型OPT-30B做测试,Amazon Inferentia2吞吐量增加了65%,推理成本降低52%,基本上是一半的成本。



跑视觉模型Stable Diffusion时,Amazon Inferentia2可以实现50%更低的成本。



亚马逊云科技的训练和推理芯片,能够帮助客户在算力上实现高性价比。


4. 专业的代码生成


在有了便宜高效的算力之后,另一个让企业开发者头大的问题,就是代码了。


而随着各种Copilot,以及类ChatGPT大语言模型的发布,越来越多的开发者也开始把AI编码辅助工具加入自己的工作流。


前段时间,GiHub就展开了一项关于「AI对开发者体验影响」的调查。


从结果来看,几乎所有(92%)的开发人员都会在工作中使用AI编码工具,大多数(67%)开发者在工作环境和个人时间中都使用过,不过还有6%的开发人员表示他们只在工作之外使用编码辅助工具。


其中,更是有超过70%的开发者表示,AI编码工具可以满足现有的性能标准、提高代码质量、更快地输出代码,而且生产级事故也会更少。



无独有偶,亚马逊云科技也曾进行过一个生产力挑战。


结果显示,使用自家Amazon CodeWhisperer的参与者在任务的完成率上,要比不使用的高了27%,而平均速度更是快了57%。



然而,这对于项目负责人来说,却是一个不小的挑战。


由于大模型的「幻觉」问题,此时的代码和安全审查就变得尤为重要了。


为了解决这些挑战,亚马逊云科技全面推出了AI加持的代码开发工具Amazon CodeWhisperer,可以让用户实现更快、更稳健的开发。



具体来说,经过数十亿行亚马逊和公开可用代码的训练之后,Amazon CodeWhisperer不仅可以理解用自然语言(英语)编写的注释,还能实时生成整个函数和代码的逻辑块(通常包含10-15行代码)。


代码生成


与此同时,Amazon CodeWhisperer还会自动过滤掉任何可能有偏见或不公平的代码建议,并且对疑似开源代码进行过滤和标记。


要知道,开发者从网上复制代码片段时,很可能就会复制了有安全隐患的代码,或者对开源代码的使用没有进行有效的追溯。而Amazon CodeWhisperer大大扫清了这些潜在的问题。


参考检查


在安全方面,Amazon CodeWhisperer也是查漏洞、debug样样精通。而且它查起bug来还非常细致,不仅会扫描开发者编写的代码,甚至连自己生成的都不放过。


安全检查


当然,对于个人用户来说,最重要的一点便是——Amazon CodeWhisperer可以免费用!



端到端的云原生数据战略


数据爆炸不是未来,而是现实。


生成式人工智能狂飙猛进的背后,是海量数据在发挥着巨大的价值。


可以看到,数据不仅是AI发展的驱动力,更是商业和社会创新的核心要素。数据驱动的决策和洞察力已经成为各行各业的竞争优势。


Matt在峰会上表示,「我相信数据是现代革新的起源,尤其是生成式AI」。



而如何管理海量数据,挖掘数据价值,对每个企业来说都是巨大的挑战。


当前,我们需要的不仅仅是变革性技术和完善的基础设施,更需要一个端到端的云原生数据战略,进而用数据创造新的idea。


而一个强大云原生数据战略,应当有三个核心特征:全面的、集成的和受治理的。



1. 全面的数据服务


「全面」简言之,能够提供一套工具适用于任何case。


从2006年,亚马逊云科技发布了第一个储存服务Amazon S3开始,便致力于探索云原生数据服务的边界。


亚马逊云科技提供了一套全球领先的、全类别云数据库服务,以及最全面的数据分析服务。


就数据库讲,有关系型数据库、非关系型数据库8大类型。



在数据分析服务方面,有交互式查询的Amazon Athena、大数据分析服务Amazon EMR、云上数据仓库Amazon Redshift、商业智能工具Amazon QuickSight,做日志分析的Amazon OpenSearch等。



2. 互相集成数据源


此外,连接数据的能力,实现数据一体化融合也是非常重要。


这样做的优势在于,把所有数据资产连接,能够让客户更容易获取数据。


当前,亚马逊云科技将很多产品之间做了深度集成,其中就包括Amazon S3、Amazon Redshift等。



而最最重要的是,亚马逊云科技正在致力实现一个「Zero ETL」愿景。


ETL是指数据的提取、转换和加载过程。以往,业务数据往往需要通过ETL,才能进行分析从而提供洞察。


然而,这一过程非常耗时且复杂,「Zero ETL」是迈出的关键一步。


Amazon re:Invent 2022全球大会上,亚马逊云科技全新发布的Amazon Aurora zero-ETL与Amazon Redshift集成功能,能够帮助客户实时分析PB级交易数据。



此外,亚马逊云科技数据服务可以与外部数据库实现Zero的集成。


让数据实现一体化融合,将其数据库、数据服务底层打通,由此数据实现「无感知」流动。


3. 正确的治理策略


当前,数据爆炸性增长,为数据治理带来了前所未有的复杂度。


要知道,良好的治理是整个团队可以访问数据的基础。


在数据治理过程中,通常涉及到不同团队、应用和权限管理,由此当前急需细颗粒度的数据治理。


亚马逊云科技全新的数据管理服务Amazon DataZone,可以帮助企业对内部数据进行编目、发现、共享和治理。



通过自身17年的数据创新经验,亚马逊云科技总结出云原生数据战略的重要构成要素。


F1、阿凡达2,全靠它


如今的AIGC大爆发,突发的用量都对系统提出了更高的需求,当海量用户暴涨时,如何应对弹性变化?


基于一流的模型、安全的环境,以及低成本和低延迟的基础设施,亚马逊云科技为客户所面对的各类棘手挑战提供了支持。



比如,在世界上最受欢迎的体育赛事之一——F1赛车中,就大量用到了亚马逊云科技的算力,形成了高性能业务场景,在高速度中进行大量的模拟。


提供关键支持的,正是亚马逊云科技的三大法宝——Amazon SageMaker、Amazon Kinesis和Amazon S3。


每辆F1赛车上都有300个传感器,每秒可产生超过110万个数据点,并从赛车传输到维修站,因此 F1 是一项真正以数据为驱动的运动。



亚马逊云科技能够带来的是,高性能计算。F1能够运行空气动力学模拟,用比以往快70%的速度开发,并打造出一款能将下压力损失从50%降低到15%的赛车。


而压力损失的大幅降低,可以让车手有了更多超车机会,表现也得到提升。


此外,F1还利用Amazon S3上存储的70年历史比赛数据,通过复杂的模型进行分析,作为丰富的数据洞察与车迷分享,揭示出瞬间决策的细微差别,并通过这些先进的统计数据突出不同车手的表现。



再举个栗子,维塔数码是全球领先的综合性视觉效果公司,创作了《阿凡达》、《指环王》、《猩球崛起》一系列巨作。


在《阿凡达:水之道》中,亚马逊云科技在8个月内完成了高达33亿渲染线程小时的云上制作,助力其打造48FPS HFR的逼真特效并按时交付,保证了影片的顺利上映。


早在2020年,视频特效制作公司 Wētā FX 公司已将业务全面部署至亚马逊云科技,创建了新的基于云的视觉特效(VFX)制作流程。



Wētā FX 在电影中创造了令人难忘的场景和人物,包括《阿凡达》中的纳美族和潘多拉星球的美丽风景。


亚马逊云科技为工作室提供了最全面的内容制作云功能集,并且使他们在几小时内就能建立创意工作站,无需耗费几周时间。


而工作室则获得了近乎无限的扩展能力,可以在亚马逊云基础设施中按需渲染。



除了以上实例,地球已经不是云计算的边界,亚马逊云科技的技术已经可以在太空这种极端环境中收集、处理数据,并做出实时的决定。


生成式AI大爆发,在这个人工智能的iPhone时刻,越来越多的企业想要抓住机遇,同时面临着挑战。


而面对全球算力井喷带来的挑战,亚马逊云科技通过自研芯片提供高性价比、各种丰富的弹性计算存储服务组合,以及简化算力的Serverless架构去解决问题。


目前,亚马逊云科技的在全球部署这无处不在的云服务,全球31个区域的99个可用区,已经覆盖了245个国家和地区。



在AI领域深耕25年的亚马逊云科技,为10万+客户提供AI和机器学习服务来抓住当下生成式AI挑战和机遇。


从另一面来看,这个选择是双向的,越来越多客户的加入也是对亚马逊云科技AI能力和战略的认可。

在演讲结尾,亚马逊云科技全球产品副总裁Matt Wood引用了Bob Dylan的这首著名歌曲<The Times They Are A-Changin'>:

不要急着说话,因为轮子还在旋转 
而且不知道它的名字是谁 
不要站在门口,不要堵住大厅 
谁停滞不前,谁就会受伤 
外面有一场战斗,正在肆虐 
很快,它会摇晃你的窗户,震动你的墙壁


时代变了,我们应该向旧传统决裂。


同样,生成式AI的到来,也在让这个时代改变。


当下,亚马逊云科技正在做的,是帮助让每个企业利用好AI,释放生成式AI的巨大潜力。

点击「阅读原文」
立即了解更多2023亚马逊云科技中国峰会信息




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
对话出海企业:“云襄百业,共拓全球”——2023亚马逊云科技出海日圆桌论坛【老键曲库】18岁的忧伤者 Asadof - Dark SunCloudflare 的 Kafka 之旅:万亿规模消息处理经验分享20年不变的初心,亚马逊云科技为初创企业的独角兽梦想加速赋能!杭州判决首例涉虚拟数字人侵权案;淘宝推出20周年纪念活动;亚马逊投资生成式AI…| 刀法品牌热讯如何解锁生成式人工智能的隐藏价值从「生成式AI」转化为「生产力」,亚马逊云科技划出重点650亿参数,8块GPU就能全参数微调:邱锡鹏团队把大模型门槛打下来了Agent:OpenAI的下一步,亚马逊云科技站在第5层程一笑:快手电商GMV进入万亿规模彻底开源,免费商用,上海AI实验室把大模型门槛打下来亚马逊云科技 Lambda 引入响应有效负载流几张照片即可定制自己的3D化身,还能换装!南京大学发布AvatarBooth:3D模型的制作门槛被打下来了!亚马逊云科技,定义了生成式AI的生产力押宝生成式AI和广告,亚马逊赢面大吗?《所谓幸福》&《春日呓语》倒数7天!交易门 X 亚马逊云约你深圳见!只有爱是不够的650亿参数,8块GPU就能全参数微调!邱锡鹏团队把大模型门槛打下来了!亚马逊云科技:双向奔赴,全球合作伙伴网络为企业出海铺路!万亿规模中原银行何以沦为“仙股”?云端安全由繁到简,云安全文化护航下的“业务创新”进入新局面? | 亚马逊云科技 re:Inforce 2023 全球大会解锁生成式 AI 潜力:NVIDIA 全栈智能网络技术支撑数据中心的进化深度分析微软,谷歌,亚马逊三大公有云厂商的生成式AI的战略发展。。。第一百零七章 脱险大模型显卡门槛,被打下来了!亚马逊云科技将对公共 IPv4 地址收费拥抱新技术,解锁生成式 AI 核心价值! 亚马逊云科技中国峰会精彩看点亚马逊确认正投资生成式AI,计划为广告商制作照片及视频【解锁生机! 拥抱春日】主题作品征集活动结果公布!奔赴一场春日浪漫~2023最重磅!亚马逊云科技出海日金融专场等你!EMQ & 亚马逊云科技联合主题沙龙:新经济周期下企业出海的数字化引擎2.42万亿规模,指数基金增速显热度 | 另类投资气象第367期美国人对中国的看法直线下降。那中国人对美国的看法又是如何呢?大咖云集,干货满满,来亚马逊云科技中国峰会深度解读AIGC的现在和未来
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。