re:Invent 2022 全回顾:看见云计算的力量,透视未来的云计算
不知不觉, re:Invent 已经走过了 11 个年头。11 月 28 日,一年一度的 re:Invent 2022 全球大会开幕。
这是自 2019 年疫情以来的首次现场活动,因此也格外有意义。据悉,re:Invent 2022 吸引了约 50000 人现场参加,与疫情前的水平相当。而线上参加的人数超过 300000 人。
这场为期五天的云计算盛会又给大家带来了很多新的惊喜。
在 re:Invent 2022 上,亚马逊云科技推出了广泛的新应用程序和产品增强功能,旨在优化数据分析和治理,并加强计算基础设施,发布了涵盖存储、计算、分析、机器学习、数据库和安全服务的新服务和功能,并首次涉足供应链管理。
亚马逊云科技首席执行官 Adam Selipsky 在“如何借助云的力量,在未知领域抓住机遇并茁壮成长”的主题演讲中表示:“到目前为止,亚马逊云科技大多数创新都是通过倾听和回应客户来推动的”。
近两年,Serverless 概念迅速蹿红。去年,CNCF 发布的《2020 年度中国云原生调查报告》显示,Serverless 架构正在持续增长,31% 的企业在生产中使用Serverless,41% 的企业正在评估,12% 的企业计划在未来 12 个月使用。
作为Serverless 技术的先驱,Amazon Lambda 在采用率方面一直保持领先地位。公开数据显示,已有上百万家客户在用 Amazon Lambda 来构建服务。
如今,亚马逊云科技已领跑完成 Serverless 在云服务上的全面布局,从计算、存储、应用集成、数据库、数据分析、人工智能等多个服务领域全面推进 Serverless 进程。
在今年的 re:Invent 2022 上,亚马逊云科技进一步发布了 Amazon Lambda SnapStart ,将冷启动时间缩短了 90%,让用户几乎可以无感知地实现应用扩展。
据介绍,Lambda SnapStart for Java 可以将延迟敏感型应用程序的启动性能提高多达 10 倍,无需额外费用,而且通常无需更改函数代码。
冷启动延迟主要由函数初始化过程造成,包括下载函数的代码、启动运行时等。借助 SnapStart,Lambda 会在用户发布函数版本时初始化函数。Lambda 采用 Firecracker microVM 初始化执行环境的内存和磁盘状态的快照,加密快照,并缓存它以实现低延迟访问。当第一次调用函数版本时,随着调用的增加,Lambda 会从缓存的快照中恢复新的执行环境,而不是从头开始初始化它们,从而改善启动延迟。
亚马逊云科技公用计算高级副总裁 Peter DeSantis 在主题演讲中指出,Lambda(以及所有其他 Serverless 平台)的构建目标之一是应对业务峰值的挑战。凭借其 Firecracker microVM,亚马逊云科技已经将冷启动时间从几秒缩短到不到一秒。现在,亚马逊云科技承诺通过使用 Firecracker 的快照功能可将冷启动时间缩短 90% 。
亚马逊云科技还宣布推出了适用于 Amazon OpenSearch Service 的Serverless 选项预览版,使客户无需管理集群即可轻松运行大规模搜索和分析工作负载。它能自动配置和扩展底层资源,即使是最苛刻和不可预测的工作负载也能提供快速数据摄取和查询响应,无需配置和优化集群。
借助 Amazon OpenSearch Serverless,用户无需考虑难以提前了解的因素,例如查询的频率和复杂性或预期分析的数据量,可以专注于使用 OpenSearch 来探索数据并从中获取洞察,而不是管理基础架构。用户还可以开始使用熟悉的 API 来加载和查询数据,并使用 OpenSearch Dashboards 进行交互式数据分析和可视化。
Amazon OpenSearch Serverless 也填补了亚马逊云服务 Serverless 分析产品组合最后的空白,这意味着现在亚马逊云科技提供的所有的数据分析服务已全部实现了 Serverless 化。
亚马逊云科技Serverless计算副总裁 Holly Mesrobian 在其演讲中介绍了 Serverless 多项重要创新。其中有一项是 Amazon Inspector 开始提供对 Amazon Lambda 的支持,为 Serverless 计算工作负载添加了持续的自动化漏洞评估。借助此扩展功能,Amazon Inspector 现在可以自动发现所有符合条件的 Lambda 函数,并识别 Lambda 函数代码中使用的应用程序包依赖项中的软件漏洞。
re:Invent 2022 的一个主题是简化企业的数据管理和分析。为此,亚马逊云科技宣布了十几项数据服务更新。
其中包括两项重要的新功能 —— Amazon Aurora 支持与 Amazon Redshift 实现 Zero ETL 集成,以及 Amazon Redshift 支持与 Apache Spark 集成,不再需要数据的提取、转换、加载(ETL)过程。
亚马逊云科技还发布了一项名为 Amazon Data Zone 的新数据管理服务预览版,旨在帮助企业对存储在亚马逊云科技、本地和第三方来源的数据进行分类、发现、共享和管理。
此外,为了帮助企业与合作伙伴进行数据协作,亚马逊云科技推出了一项名 Amazon Clean Rooms 的新服务。同时还推出了 Amazon Glue Data Quality (Preview) ,可以进一步提升数据质量,萃取数据价值,保证数据治理。
数据治理需要有非常高的数据质量规范,然而越高的规范代表了越高的管理成本,非常费时费力,有时要花几天,甚至几周的时间。Amazon Glue Data Quality 能识别丢失、陈旧或不良数据,将这些手动的数据质量工作从几天缩短到几小时。
亚马逊云科技也为其统一商业智能服务 Amazon QuickSight 添加了新功能,包括可以通过名为 “QuickSight Q”的新功能进行自然语言查询的能力。添加到 QuickSight 的其他功能还包括生成分页、大型数据集的报告和快速分析。
如今,网络攻击不断激增,而数据又已成为企业的命脉,因此亚马逊云科技针对当前形势发布了其数据安全服务的更新。
其中一项重大发布是推出了新的网络安全服务 Amazon Security Lake ,该服务能够自动将来自云和本地来源的安全数据集中到客户在亚马逊云账户中专门构建的数据湖中。
其他安全功能更新还包括对自动化漏洞管理服务 Amazon Inspector 及其机器学习安全和隐私服务 Amazon Macie 的更新。
亚马逊云科技继续完善其 AI 应用程序,宣布对其 SageMaker 机器学习服务进行了更新,以改进该服务的治理属性。
作为这些更新的一部分,亚马逊云科技推出了 Amazon SageMaker Role Manager,旨在让管理员更轻松地控制访问并为用户定义权限。
此外,它还向 SageMaker 添加了一个名为 Amazon SageMaker Model Cards 的新工具,以帮助数据科学团队简化模型信息收集。
该服务还添加了 Amazon SageMaker Model Dashboard,为 SageMaker 提供一个中央界面来跟踪机器学习模型。
亚马逊云科技也为 Amazon SageMaker Studio Notebook 添加了数据准备功能,并在 SageMaker 中增加了一个新的工作区,旨在让数据科学团队实时阅读、编辑和运行 Notebook。
为了帮助企业获得更多的数据回报, 亚马逊云科技也在一系列其他服务中添加了新的人工智能功能,包括 Textract、Transcribe、Kendra、CodeWhisperer 和 HealthLake。
比如,为了帮助企业提供更好的客户服务和体验,亚马逊云科技更新了其自动语音识别 (ASR) 服务 Amazon Transcribe,以提供实时呼叫分析。
与此同时,亚马逊云科技 通过添加支持 HTML 表格搜索的新功能,增强了其基于人工智能的企业搜索服务 Amazon Kendra。
随着企业收集、存储和处理更多数据,他们的计算需求也必然会增长。在认识到这一趋势后,亚马逊云科技发布了其计算服务的多项更新以及一些旨在运行极其繁重的工作负载的行业特定功能。
为了提升其高性能计算服务,亚马逊云科技宣布推出 Amazon EC2 Hpc6id 实例,它可以支持密集型工作负载,具有更高的每 vCPU 计算性能以及更大的内存和本地磁盘存储,以减少数据密集型作业的完成时间和工作量。
此外还推出了用于高性能计算(HPC)的新芯片— Graviton3E 和下一代 Nitro 智能网络芯片,以及可以充分发挥新硬件性能的新实例。
动态 3D 实验可以帮助跨行业(交通、机器人、公共安全等)的组织,了解可能的现实世界结果并为他们进行培训。例如,确定工厂车间的新工作流程,运行不同的自然灾害响应场景,或考虑不同的道路封闭组合。
但复杂的空间模拟需要大量的计算资源,而且跨计算实例集成和扩展、模拟数百万个交互对象可能是一个困难且昂贵的过程。
为了帮助客户构建、操作和运行大规模空间模拟,亚马逊云科技推出了 Amazon SimSpace Weaver。这是一种全新的、完全托管的计算服务,可帮助用户在云上运行大规模空间模拟,而无需管理复杂的基础设施。它允许用户将空间模拟部署到具有许多数据点的模型系统,例如城市的交通模式、场地中的人群流动或工厂车间的布局中。
亚马逊云科技表示,SimSpace Weaver 面向希望对超过一百万个实体(人、汽车、交通信号灯、道路....)运行复杂 3D 模拟的企业。“就像一个真实的城市,模拟本身就是一个广阔的‘世界’”。亚马逊云科技正在为每个行业赋予空间模拟的能力,使客户能够更轻松地模拟从交通模式到公共交通网络再到供应链基础设施的一切。
大数据可以说是这次 re:Invent 发布的一个重要核心主题。
亚马逊云科技大中华区解决方案架构部总监代闻在接受 InfoQ 采访时表示,此前,亚马逊云科技一直在提的战略是云原生的数据战略。这一战略包括云原生的数据基础设施、数据一体化的融合、数据驱动智能化的创新、保证数据安全和数据治理等。
代闻感受到,在今年的 re:Invent 上,数据战略在原先的基础上,又做了进一步提升,尤其是在数据底盘上。此前亚马逊云科技一直强调数据的跨域流动、数据的无缝流转等,这次 re:Invent 发布的内容则进一步侧重数据可见性,例如某一区域的部分数据不止区域可见,还能做到全球可见,并在安全的情况下可用。此外更进一步强调了数据的无缝流转,这次大会发布的内容非常强调专门构建的产品,以及这些产品如何给客户最好的体验。
另一个值得关注的变化是,亚马逊云科技首次围绕供应链发布了新产品。
看到了供应链应用场景需求增长的机会,亚马逊首次涉足供应链管理,发布了集成机器学习的云应用程序,名为 Amazon Supply Chain,以帮助经常使用多个 ERP 系统的大型企业获得供应商、库存、物流和其他供应链相关组件的统一视图。
近年来,因为广泛的资源短缺、地缘政治、自然事件等因素,供应链经历了前所未有的供需波动。供应链中断给企业带来不小的压力,要求企业针对潜在的供应链不确定性进行规划,并在降低成本的同时快速响应客户需求的变化。当企业对供应链风险(例如,组件短缺、航运港口拥堵、意外需求激增或天气中断)的预测不充分时,他们可能难以应对库存成本过高或缺货的情况。
新的 Amazon Supply Chain 服务通过跨多个供应链系统组合和分析数据来帮助简化这一过程。亚马逊云科技称,借助这一新服务,企业可以实时观察运营,快速识别趋势,并生成更准确的需求预测。
这项新服务基于 Amazon.com 近 30 年的物流网络经验。它使用预训练的机器学习模型来理解、提取和聚合来自 ERP 和供应链管理系统的数据。然后将信息实时上下文化,突出显示每个位置的当前库存选择和数量。机器学习模型显示潜在的库存短缺或延迟,并在出现风险时提醒用户。一旦发现问题,Amazon Supply Chain 就会根据解决风险的百分比、设施之间的距离以及可持续性影响提供建议的操作,例如在不同地点之间移动库存。
代闻观察到,今年亚马逊云科技在芯片等基础设施方面的发布,可以说更往前走了一步。这主要表现在两个方面:一是真正继续践行“低功耗、高性能”的准则,很多新发布的硬件在关注高性能的同时,也非常关注低功耗,如单瓦特能提供什么样的算力,这也与我们国家在提的碳融合、碳达峰的理念相契合;第二是更关注生态,业务和数据是跑在基础设施上的,新发布的基础设施能否提供最终的业务价值很重要。对企业客户来说,业务可以直接无缝迁移到亚马逊云科技的基础设施上,这样既节约成本,又获得了良好的性能。
re:Invent 可谓是云计算领域的“春晚”,也是云计算行业的风向标。岁末年尾之际,透过这场大会,我们在看到云计算在过去一年里的发展现状的同时,也能够感知到接下来云计算的发展趋势。
亚马逊云科技首席执行官 Adam Selipsky 在主题演讲中强调了数据的重要性。
Adam 认为,数据增长的速度预计只会进一步加快,因此,对那些需要随着数据增长而扩大规模的组织来说,云计算所能提供的灵活性是非常有吸引力的。“分析人士预测,在未来五年内,我们创造的数据量将是数字时代开始以来的两倍多,”他说,“管理数据的规模和增长对每个组织来说都是巨大的挑战和机遇。”
企业需要对数据做到很好的管理,来保证数据是安全的,同时还要去理解这些数据,探索这些数据可以给企业带来的各种潜力。
Adam 认为,在数据管理领域需要有合适的工具、有效的数据集成、规范的数据治理和深入的业务洞察力。
为此,亚马逊云科技针对性地构建了多款工具。在数据分析服务方面,亚马逊云科技宣布正式推出 Amazon OpenSearch Serverless 版本;在数据集成方面,Adam 重点提到了Zero ETL, ETL(数据提取、转换和加载)是重复性无差别的繁重工作,因此亚马逊云科技认为 Zero ETL 必将是最终目标;在数据管理方面,亚马逊云科技宣布推出一项用于分类、发现、共享和管理数据的数据管理服务 Amazon DataZone;为实现业务洞察,Adam 宣布使用 Amzon Quicksight Q 应用探索新的基于机器学习的预测服务发布,以探索更广阔的数据领域。
Adam 表示,亚马逊云科技在整个数据之旅中做了大量投入,目标是帮助客户更好地释放数据的价值。
亚马逊副总裁兼 CTO Werner Vogels 在主题演讲中强调了异步的概念。“这个世界上绝对没有什么是同步的,”他说,“如果是这样,我们真的不会喜欢它。” Vogels 表示,异步的概念可以用于构建计算机系统,以及开发整个数字世界。异步计算机体系结构提供的选项和变化可能意味着即使出现数字灾难,也有可能向前推进。“当我想到异步时,”他说,“就是我们应该在任何情况下都取得进展,无论发生什么。”
Vogels 说,随着 S3 产品的开发,异步的概念就已经在亚马逊发挥作用。“我们希望确保该系统在任何情况下都能完美应对”,“无论涉及什么;不管有什么故障。” 然而,他还表示,乍一看,就延迟和吞吐量而言,计算同步似乎更容易。“同步是一种简化。它只是让我们更容易编写程序的东西,”Vogels 说,但有一个警告。“同步是一种幻觉。这是我们在一个异步的世界上构建的东西。”
人们通常认为异步编程很困难,所以操作系统往往具有受限的接口。Vogels 说:“如果你想写入磁盘,在写入块之前你会被阻塞。” 变化在 1990 年代开始出现,操作系统从头开始设计,以向世界展示异步性。Windows NT 可能是第一个将异步通信或与设备交互作为内核第一原则的系统。Linux 直到 2000 年代初才采用异步技术。
异步的好处是,与同步的错觉相比,它是自然的。Vogels 说,当计算系统紧密耦合在一起时,如果出现问题,可能会导致广泛的故障。对于异步系统,一切都是解耦的。“最重要的是,这是一种无需更改任何其他组件即可非常轻松地发展的架构,”他说。“这是隔离故障的一种自然方式。即使任何组件出现故障,整个系统将继续工作。”
Vogels 还表示,异步架构是不断演进的,而不是一蹴而就的。“分解成小的、易于理解的构建块是构建这些异步、松耦合、事件驱动系统的基本部分。”
亚马逊人工智能和机器学习副总裁兼总经理 Bratin Saha 概述了这家云巨头看到的六大关键趋势,这些趋势有助于推动 2022 年及以后的机器学习技术创新。
亚马逊云科技称其 AI/ML 服务拥有超过 100,000 名客户。这些服务分布在三个层级:机器学习基础设施服务,使组织能够构建自己的模型;SageMaker,提供构建应用程序的工具;以及针对特定用例的专用服务,例如转录。
近年来机器学习模型的复杂度呈指数级增长。衡量机器学习模型复杂程度的一种方法是计算其中的参数数量。Saha 解释说,参数可以被认为是嵌入在机器学习模型中的值变量。2019 年,当时最先进的机器学习模型大约有 3 亿个参数。快进到 2022 年,最好的模型的参数量现在已经超过 5000 亿。“换句话说,在短短三年内,机器学习模型的复杂程度增加了 1600 倍。”
这些庞大的模型就是现在通常所说的基础模型。使用基础模型方法,可以使用海量数据集对机器学习模型进行一次训练,然后针对各种不同的任务进行重复使用和调整。因此,企业可以通过更易于采用的方法从日益复杂的过程中受益。“Foundation models 将机器学习的成本和工作量降低了一个数量级。”
越来越多的数据和不同类型的数据被用于训练机器学习模型。组织现在正在构建经过结构化数据源(如文本)以及非结构化数据类型(包括音频和视频)训练的模型。为了将不同的数据类型放入机器学习模型中,亚马逊云科技开发了多种服务来帮助训练模型。Saha 重点强调了其中一项工具是 SageMaker Data Wrangler,它可以帮助用户使用一种适用于机器学习训练的方法来处理非结构化数据。
亚马逊云科技 也看到了机器学习产业化的趋势。这意味着机器学习工具和基础架构更加标准化,使组织能够更轻松地构建应用程序。Saha 表示,机器学习工业化很重要,因为它可以帮助组织实现开发自动化并使其更加可靠。随着组织构建和部署更多模型,工业通用方法对于扩展至关重要。“即使在亚马逊内部,我们也在使用 SageMaker 进行工业化和机器学习开发。”
针对特定用例的专用应用程序,机器学习的支持也在增加。Saha 表示,亚马逊云科技的客户已要求供应商自动化常见的机器学习用例。例如,亚马逊云科技(和其他供应商)现在提供语音转录、翻译、文本转语音和异常检测等服务。这些为组织提供了一种更简单的方法来使用机器学习支持的服务。
负责任的人工智能也有增长的趋势和需求。随着人工智能和机器学习的发展,人们意识到必须负责任地使用它。从亚马逊云科技的角度来看,负责任的人工智能需要具备几个关键属性。系统需要公平,无论种族、宗教、性别和其他用户属性如何,系统应该对所有用户平等运作。机器学习系统还需要可解释,以便组织了解模型的运作方式。另外也需要治理机制,以确保负责任的人工智能得到实践。
推动机器学习向前发展的最后一个关键趋势是使技术民主化,使更多人可以获得工具和技能。“客户告诉我们,他们通常很难招聘到需要的所有数据科学人才。”在 Saha 看来,民主化挑战的答案在于继续开发低代码和用例驱动的工具,以及展开相应的教育工作。“亚马逊云科技正在投资培训下一批机器学习开发人员,”Saha 表示:“亚马逊承诺,到 2025 年,我们将通过免费的云计算技能培训帮助超过 2900 万人提高他们的技术技能。”
在亚马逊云科技开发者社区官网,我们发布了关于本次 re:Invent 更全面的信息资讯,点击【阅读原文】即可访问。
微信扫码关注该文公众号作者