Amazon Bedrock何以入选WAIC 2023“镇馆之宝”？且听Sherry Marcus娓娓道来

从美国纽约到中国上海，跨越了半个地球，亚马逊云科技生成式AI产品研究院院长Sherry Marcus风尘仆仆，只为了参加一个大会——2023世界人工智能大会（WAIC 2023）。7月6-8日，全世界的目光都聚焦于上海，“智联世界，生成未来”成了最热门的话题。

“从全球范围来看，机器学习正在经历一个非常关键的转折点。”Sherry Marcus表示，网络数据的爆炸性增长并具有可获得性，算力的持续增强，以及Transformer AI模型的出现和加速演变，将推动机器学习更快地与商业应用相结合，创造出新的价值。

亚马逊云科技生成式AI产品研究院院长Sherry Marcus

除了在大会上介绍亚马逊云科技在AI大模型方面的创新和服务之外，Sherry Marcus此行还有一项重要的任务，就是与中国AI产业领域的专家、企业家、投资人，以及科研人员、学生等进行交流，希望促成亚马逊云科技在AI方面与各界的广泛合作。

众所周知，由大模型驱动的生成式AI，如今可以创作出文字、图像、视频、音乐等五花八门的内容，不仅打开了新的商业应用大门，更将AI带入了寻常百姓家，吟诗作画，对话交流，其乐融融。

毋庸置疑，生成式AI将开辟商业应用和人们日常生活中前所未有的新局面。而推动生成式AI的快速落地，需要多方面因素的协同。Sherry Marcus归纳了以下四个方面：第一，需要利用一流的基础模型构建出色的AI应用程序；第二，客户自己能够定制基础模型，并可进行微调，而这一切都是在安全、私密的环境中完成；第三，从技术的演进来看，生成式AI是一种低成本、低时延的技术，能够方便客户打造出快速、低成本的AI应用；第四，客户的应用程序能够借助专业代码生成工具，从而消除繁重的工作，提高效率。

从上述维度来衡量，Amazon Bedrock无疑是一款理想的生成式AI应用加速器。在刚刚结束的2023年世界人工智能大会上，Amazon Bedrock获得了专业人士的充分认可，入选大会评选出的九大创新展品，被喻为“镇馆之宝”。

Amazon Bedrock诞生于2023年4月，是业内一款具有代表性的生成式AI产品。按Sherry Marcus的介绍，Amazon Bedrock分成三层。

在底层，亚马逊云科技推出了Amazon EC2 Inf2实例，它以亚马逊云科技Inferentia2芯片为动力，构建出生成式人工智能最具成本效益的最佳基础设施。Inf2实例在亚马逊云上，规模化运行要求非常高的生成式人工智能推理工作负载时，能够提供最高性能、最高能效和最低成本。与上一代相比，Inf2实例的吞吐量高达4倍，延迟低至十分之一。这些改进可以带来比任何其他EC2实例高40%的推理价格性能。此外，由亚马逊云科技Trainium提供支持的Amazon EC2 Trn1n实例将很快推向市场。Trn1n实例提供了1600 Gbps的网络带宽，能够将大型、网络密集型模型的性能提升20%。

在中间层，亚马逊云科技发布了Amazon Bedrock的预览版，使得生成式人工智能应用程序的开发更加简便。Amazon Bedrock是一项托管服务，它通过API可轻松访问预训练的基础模型（FM）。另外，Amazon Bedrock还提供由亚马逊云科技开发的行业领先的Amazon Titan基础模型。

在生成式人工智能栈的顶层，Amazon CodeWhisperer现已可用。Amazon CodeWhisperer免费向个人开发者提供，可支持10种以上的编程语言。

“对于软件开发产业来说，生成式AI技术将起到加速的作用。它能够更好地提升企业软件开发的效率。”Sherry Marcus举例说，“在Amazon CodeWhisperer预览期间，我们进行了一项生产力测试，与未使用Amazon CodeWhisperer的参与者相比，使用Amazon CodeWhisperer的参与者完成任务的速度平均加快57%，成功率提高27%。可以这样说，CodeWhisperer将整个软件开发的行业水平提升到了更高层级，即使是大学生也可以利用这样的工具开发出更加复杂的软件。”

亚马逊云科技大中华区机器学习产品总监张洋

亚马逊云科技大中华区机器学习产品总监张洋补充说：“有了Amazon CodeWhisperer,开发者相当于拥有了一个AI智能助手，可以基于注释的方式更快地生成代码，从而大大节省开发时间。Amazon CodeWhisperer能够在代码编辑器中直接推荐一个或多个代码片段，帮助开发人员在编码过程中提高生产力。开发人员可以通过简单点击Tab键，快速轻松接受最顶端的推荐, 还可以使用方向键查看更多推荐或者继续编写代码。”

从安全的角度看，Amazon CodeWhisperer对其训练数据能够进行安全漏洞分析，并尽可能过滤掉相关的安全漏洞。为了帮助开发人员负责任地构建应用程序，Amazon CodeWhisperer还提供了一个参考追踪器，能够显示推荐代码的许可证信息，并在必要时提供对应开源仓库的链接。

Amazon Bedrock拥有诸多优势。用户可以通过API使用基础模型，加速生成式AI应用程序开发，也可以选择亚马逊云科技的一些基础设施来构建生成式AI应用。Amazon Bedrock支持领先的基础模型，比如AI21 Labs是一个多语言的大语言模型，主要用于对话问答、工作流自动化；Stability AI可以生成独特的高质量图像或进行会标设计等。Amazon Titan在大型数据集上经过预先训练，是一个功能强大的通用模型。其中，Titan Text是一种生成式大型语言模型（LLM），用于自动执行自然语言任务，例如摘要和文本生成；Titan Embedding可将文本输入（单词、短语或可能的大型文本单元）转换为包含文本语义含义的数字表示形式（称为嵌入），提高搜索准确性并改进个性化推荐；Titan FM 旨在检测和删除数据中的伤害性内容，拒绝用户输入中的不当内容，并筛选包含不当内容的模型输出，从而确保用户更负责任地使用人工智能。

“亚马逊云科技要确保我们提供的生成式AI是普遍可用的，并能以极低的成本和尽可能低的延迟向用户交付服务。同时，我们还要确保操作或者运维的性能最优化。”Sherry Marcus表示，“我们积极地采用第三方（包括Anthropic、AI21Labs和Stability AI等合作伙伴）提供的生成式AI的模型，再加上自研的预训练基础模型Amazon Titan，客户可以根据自身的需求进行选择，在成熟的大语言模型基础上，使用自己的数据进行专业化或专门的模型构建。在整个流程中，亚马逊云科技会始终坚守负责任地使用AI的原则，让大模型的设计、开发、部署和运营符合准确性、公平性与合规性的要求，并确保隐私安全。”

笔者认为，对于亚马逊云科技来说，通用大模型的自主研发还是其次，亚马逊云科技更重要的职责或者说目标，还是加速推动生成式AI应用的行业化落地。实际上，亚马逊云科技在生成式AI的推广和普及上，已经做了大量卓有成效的工作。

举例来说，埃森哲Velocity团队一直在使用Amazon CodeWhisperer加速其人工智能和机器学习项目。使用Amazon CodeWhisperer减少了埃森哲Velocity团队创建样板代码和重复代码模式的时间，团队有更多时间用于提升软件质量；Amazon CodeWhisperer助力开发人员负责任地使用AI，创建语法正确且安全可靠的应用程序；团队可以生成完整的函数和符合逻辑的代码段落，无需在网上搜索或定制代码；通过将安全扫描前置到开发人员的IDE中，让团队可以在开发过程的早期阶段就能检测安全威胁。

德勤利用Amazon Bedrock全托管服务拓展其生成式人工智能的能力。借助该服务，用户可通过API轻松访问来自领先AI公司及亚马逊云科技的预训练基础模型。德勤的AI经验和顶尖人才与亚马逊云科技的技术力量相结合，可以帮助客户更快地基于大规模构建新的AI应用。借助Amazon Bedrock，德勤可以为客户提供更具成本效益的服务，助力查验大量数据以定制模型，并将自然语言应用于各种用例。

今天 ，Amazon Bedrock已经应用于各种不同的场景中。张洋介绍说，在医疗领域，飞利浦医疗与亚马逊云科技合作，将飞利浦医学影像系统 Philips HealthSuite Imaging 影像平台的服务部署在云端，并通过使用基于Amazon Bedrock的基础模型加速开发基于云计算的生成式人工智能应用，以提供临床决策支持，实现更准确的诊断。在跨境电商领域，客户使用亚马逊云科技的生成式AI产品，可以对上传的模特照片进行衣服、模特和场景的更换，大大提升了效率。在游戏行业，游戏公司可以借助亚马逊云科技的生成式AI技术，创造新游戏，并允许玩家自定义头像。游戏公司还可建立自主可控的生成式AI生产线，实现基于游戏知识产权的定制化垂直模型批量生成，极大地提高设计效率。

“在社交、媒体、广告等众多细分市场，生成式AI应用的巨大潜力值得进一步深入挖掘。”张洋表示，“我们相信，生成式AI将会重塑大量客户体验和应用程序。”

Sherry Marcus表示，亚马逊云科技一直在生成式AI领域持续创新，为各行各业的客户提供基础设施和AI/ML服务,支持客户拥抱AI新时代经过广泛验证且易于部署的先进AI算法模型，并提供丰富且高性价比的云端资源，让客户能够把握住AI时代的新机遇。

在短短几个月时间内，亚马逊云科技便发布了包括Amazon Bedrock在内的多款生成式AI工具和平台；并在Amazon SageMaker JumpStart上成功助力训练开源大语言模型Falcon 40B，让客户更便利地利用这一模型快速构建生成式AI应用程序；还投资一亿美元创建了生成式AI创新中心，致力于联接亚马逊云科技机器学习和AI的专家与全球客户及合作伙伴，利用生成式AI加速企业的创新和成功。

“当前，生成式AI面临的最大挑战是，要让更多的人真正理解，生成式AI带来了哪些新的应用和价值，以及能够给各行各业的转型带来的深远影响。”Sherry Marcus表示，“我们可以把眼光放得更长远一些，密切跟踪生成式AI未来将会带来哪些颠覆式的创新。”

欧盟颁布的《人工智能法》要求AIGC厂商必须声明训练数据来源的版权问题。中国相关部门对AIGC的监管意见也要求，将来对AIGC的产品进行标识。安全、合法和负责任地使用AI是一个全球性的话题。从一开始，亚马逊云科技就一直强调要负责任地使用AI。Sherry Marcus介绍说，通过水印技术可以显示数据来源,这将成为行业的趋势之一。由于生成式AI还是一个新的事物，其未来的发展存在很多变数，一定要从监管和合规的角度去规范其开发和应用。

我们也注意到，现在全球范围内有很多关于LLM的排行榜。这些排行榜通常是基于特定的案例和任务对LLM进行性能方面的测试，虽然能够在一定程度上展示模型在特定训练任务上的表现，但并不代表模型的全部价值。“在将这些模型应用于客户的数据之后，才能真正评判模型的价值和优劣。”Sherry Marcus如是说。

可以预见，未来大语言模型会变得更加庞大，也会有更多不同的模型涌现出来。为客户量身定制，以及在特定的商业环境中更好地使用大模型，还要进行持续的研究和实践。