Redian新闻
>
阿里云汪军华:大模型时代的人工智能+大数据平台,加速创新涌现

阿里云汪军华:大模型时代的人工智能+大数据平台,加速创新涌现

公众号新闻


阿里妹导读


文章背景:10月31日,2023云栖大会上,阿里云副总裁、阿里云计算平台事业部负责人汪军华宣布阿里云人工智能+大数据平台升级发布,以服务大模型时代下各行各业的业务创新,并就此发表了演讲。

大模型和MaaS概念的出现,定义了以模型为中心的一整套AI开发新范式,而这背后日益增长的巨大算力需求,对AI工程底座提出了新的挑战。今天,大模型时代下的人工智能+大数据平台,需要具备计算效率、开发效率、处理效率为一体的高效能力,才能保障服务AI时代下的业务创新。

一、高性能的AI基础设施,让计算效率达到极致

根据OpenAI测算,全球用于头部AI模型训练的算力需求以每年10倍的速度增长,计算需求处于持续爆发中。我们的PAI灵骏智算集群在网络、存储、调度上做了深度优化,采用HPN 7.0新一代AI集群网络架构,存储计算分离架构,支持高达10万卡量级的集群可扩展规模,让超大规模集群像1台计算机般运转。

软硬一体的智算服务PAI灵骏,为大规模深度学习训练场景提供稳定和高效的支撑,大模型训练任务线性加速比可达到96%,大模型训练资源可节省超50%。在稳定性保障方面,PAI灵骏智算服务配置了弹性容错训练框架AIMaster和EasyCkpt模型自动保存与恢复能力,可让千卡规模任务稳定运行3周以上。

面向大模型的推理服务场景,PAI体系化地整合模型系统联合优化、运行时优化、LLM领域优化等能力,可将大语言模型推理吞吐提升3.5倍,大幅降低推理时延。单卡推理可支持的最大上下文长度达280K,超长的上下文推理将进一步推动LLM涌现。

二、多形态、更灵活的AI开发模式,支撑多样化需求

随着需求的不断涌现,AI开发者和AI开发需求越发细分。人工智能平台PAI 4.0发布,全面降低大模型AI开发门槛,提供完善的需求支撑,提升开发效率。

不论是需要定义模型结构和开发流程的深度学习开发者群体,还是有海量大规模计算任务的群体,亦或是需要高效快速串联起训练推理任务的业务算法群体,都可以通过PAI来实现研发,包含各类热门的计算框架、开源模型和开发场景,一站式地完成开发部署。

PAI灵积为广大开发者提供了通过云上API服务,可以用于应用模型开发和开发好的模型调用,允许开发者将大模型能力迅速集成到自己的业务和应用中,在PAI-灵积平台上,开发者不仅可以找到通义系列大模型(包括通义千问,通义万相等等),也可以找到来自业界最优秀的头部大模型,包括ChatGLM,百川,Stable Diffusion等。

在大会上我们宣布,今天这些模型都通过PAI 灵积上统一的API和SDK对广大开发者开放,开发者只需要几行代码,就能迅速把这些不同类别的大模型的能力,集成到自己的应用中去。

三、高效的数据服务提升大模型效果,大数据和AI更深融合

在机器学习开发过程中,80%的研发时间有用于数据准备,数据质量决定着大模型的效果,数据处理分析的重要性更加凸显。大数据作为AI基础设施的一部分,阿里云提供了从数据积累、清洗、建模、计算到服务的全套产品化方案,来节省AI开发过程中数据准备的时间。

同时,大数据和AI进行了更深度的融合。阿里云自研大数据处理平台MaxCompute 全面升级DataFrame能力,发布分布式计算框架MaxFrame,100%兼容Pandas等数据处理接口,一行代码即可将原生Pandas自动转为MaxFrame分布式计算,打通数据管理、大规模数据分析、处理到ML开发全流程,打破大数据及AI开发使用边界,大大提高开发效率。

大模型驱动的 AI 时代,AI 场景对数据时效性的要求也越来越高,Flink+Paimon新一代实时湖仓方案,为用户提供一站式数据入湖、实时加工和探查分析能力,拓展 Flink 在数据湖场景的实时计算能力,同时加速 AI 应用。

全托管向量检索服务DashVector正式发布,基于阿里云自研8年的高性能向量检索内核Proxima,提供具备水平拓展能力的云原生、全托管的向量检索服务。Hologres、OpenSearch、Elasticsearch分别升级了向量能力,满足不同场景下性能的提升。全新发布DataWorks Copilot,将大数据平台的一站式统一元数据、统一调度、统一数据集成、统一数据建模与AI大模型能力全面结合, 将AI与业务充分融合,创造新价值。

在面向大模型时代整体大数据AI产品能力升级后,我们宣布大数据AI产品全面完成Serverless化,致力于给我们的客户提供开箱即用、按需付费的高性价比产品。作为大模型时代AI的基础设施,阿里云人工智能+大数据平台将坚定、持续的投入研发资源,服务各行各业的业务创新。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
传小米汽车1季度产2000辆,官方否认;阿里云产品狂降,开启疯狂星期四;周鸿祎:苹果Siri是人工智障 | 极客早知道联合国教科文组织:2024人工智能时代的高等教育白皮书浙江大学阿里巴巴:2023大模型时代智能设计的机遇与挑战报告大模型时代的计算机系统革新:更大规模、更分布式、更智能化大模型时代,探迹要给每位销售配上AI助理|100个革新产品(3/100)AI早知道|Stability AI推出最小模型;国内首个视频大模型通过备案;内蒙古首个AI大模型工业互联网平台发布大模型时代,我们可以用 Julia 做什么?| 盘点大模型时代,南大周志华埋头做学件,最新论文上线大模型时代,“人人可AI”的百度开发者平台长什么样?省机票的一些诀窍一文解读:如何理解“大模型时代”的狂飙趋势?|投资笔记第162期Nature子刊|杨朝勇/郑军华合作开发空间组学新技术破解肿瘤细胞早期空间侵袭模式深圳内推 | 腾讯大数据平台混元AIGC团队招聘文生3D方向算法实习生AI早知道|ChatGPT模型大更新;阿里云发布多模态大模型;百度推多模态模型UNIMO-G《2023未来就业报告》发布:就业市场变革,大数据、人工智能行业将迎来大增长!未来已来,人工智能逐渐“涌现”出“意识”AI Pin:大模型时代的iPhone?大模型时代,计算创新如何为应用性能提升开启新路径家居修理系列: 家用电器的修理(3)突破 | 欧盟《人工智能法案》: 欧盟理事会和欧洲议会达成协议!全球首个人工智能法律只差临门一脚!昆仑万维方汉:大模型时代,超级 APP 不会是神话《古罗马政治家西塞罗》 作者前言专访未名脑脑丨依托于高价值、多维度大数据及人工智能,点亮脑疾病精准诊疗新前沿阿里云欧阳欣:阿里云安全大模型正式投入使用王友琴:给中宣部长李书磊同学书年度盘点④|盘点大模型时代的中国制造:硬件界的下一个热点?专访李潇:数据智能平台,AI 时代的 Lakehouse 架构走进大模型时代:ArchSummit 架构师峰会引领技术未来计算机视觉迈入“大模型时代”,又现“大一统”“小而美”之辩线上开售!大模型时代的向量数据库 AI 技术论坛圆满收官天冷了,唠嗑大模型时代的技术管理“新思维” | 直播预告【对话AIGC标准起草单位】康达:法治基因在人工智能时代的传承与发展联想王传东:AI PC是打开大模型时代的第一终端|WISE2023商业之王大会硬核观察 #1210 人工智能聊天机器人被用来越狱其它人工智能
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。