Redian新闻
>
高通万卫星:终端侧生成式AI时代已经来临|中国AIGC产业峰会

高通万卫星:终端侧生成式AI时代已经来临|中国AIGC产业峰会

公众号新闻
编辑部 整理自 AIGC峰会
量子位 | 公众号 QbitAI

AI手机、AI PC硬件新物种正崭露头角。

高通作为技术及芯片厂商,所提供的产品和解决方案正在推动AIGC相关产业的规模化扩展。

在本次AIGC产业峰会上,高通公司Al产品技术中国区负责人万卫星分享了这样的观点:

2024年,高通会重点支持多模态模型以及更高参数量的大语言模型在端侧的部署。而高通顶尖的异构计算设计使AI能力贯穿整个SoC,将CPU、GPU和NPU的能力都充分释放给开发者。

同时,借助高通AI Hub,开发者可以轻松地开发自己的创新AI应用,就 像“把大象塞入冰箱”一样简单。

为了完整体现万卫星的思考,在不改变原意的基础上,量子位对演讲内容进行了编辑整理,希望能给你带来更多启发。

中国AIGC产业峰会是由量子位主办的行业峰会,20位产业代表与会讨论。线下参会观众近千人,线上直播观众300万,获得了主流媒体的广泛关注与报道。

话题要点

  • 基于图像语义理解的多模态大模型发展是当下的重要趋势。

  • 芯片厂商如何满足生成式AI多样化的要求。

  • 虚拟化身AI助手,充分利用高通异构计算能力的端到端用例解析。

  • 利用高通AI Hub进行应用开发的过程就像“把大象塞进冰箱”一样简单。

以下为万卫星演讲全文:

终端侧生成式AI时代已经来临

我们相信,终端侧生成式AI时代已经来临。

高通在2023年10月发布的第三代骁龙8和骁龙X Elite两款产品上,已经实现了大语言模型完整地在端侧运行,并且已经或即将为众多AI手机和AI PC提供支持。

在手机方面,去年年底和今年年初,包括三星、小米、荣耀、OPPO和 vivo 等众多OEM厂商发布的Android旗舰产品,都已经具备了在端侧运行生成式AI的能力。

基于图像语义理解的多模态大模型发展是当下的重要趋势。

在今年2月的MWC巴塞罗那期间,高通也展示了全球首个在Android手机上运行的多模态大模型(LMM)

具体来说,我们在搭载第三代骁龙8的参考设计上运行了基于图像和文本输入、超过70亿参数的大语言和视觉助理大模型(LLaVa),可基于图像输入生成多轮对话。

具有语言理解和视觉理解能力的多模态大模型能够赋能诸多用例,例如识别和讨论复杂的视觉图案、物体和场景。

设想一下,有视觉障碍的用户就可以在终端侧利用这一技术,实现在城市内的导航。同时,高通在骁龙X Elite上也演示了全球首个在Windows PC上运行的音频推理多模态大模型。

接下来看看高通作为技术及芯片厂商,如何满足生成式AI多样化的要求。

不同领域的生成式AI用例具有多样化的要求,包括按需型、持续型和泛在型用例,其背后所需的AI模型也是千差万别,很难有一种处理器可以完美适用所有生成式AI用例或非生成式AI用例。

比如,有些用例需要进行顺序控制,对时延比较敏感;有些用例是持续型的,对算力和功耗比较敏感;有些用例需要始终在线,对功耗尤其敏感。

高通公司推出的高通AI引擎就是领先的异构计算系统,它包含多个处理器组件,包括通用硬件加速单元CPU和GPU、专门面向高算力需求的NPU,以及高通传感器中枢,它们在AI推理过程中扮演不同角色。

前面提到的顺序执行的按需型任务,可以运行在CPU或GPU上;对AI算力要求比较高的持续型任务,例如影像处理、生成式AI等,都可以运行在NPU上;对于需要始终在线、对功耗尤其敏感的任务,可以运行在高通传感器中枢上。

简单介绍一下高通NPU的演进路线,这是非常典型的由上层用例驱动底层硬件设计的案例。

2015年及更早之前,AI主要用于一些比较简单的图像识别、图像分类用例,所以我们给NPU配置了标量和向量加速器。

2016—2022年间,计算摄影概念开始流行,我们把研究方向从图像分类转移到了AI计算摄影及视频等等,包括对自然语言理解和处理的支持,以及对Transformer模型的支持,我们给NPU硬件在标量和向量加速器的基础之上,增加了张量加速器。

2023年,大模型热度很高,我们在业内率先完成了端侧的大模型支持,给NPU配置了专门的Transformer加速模块。

2024年,我们会重点支持多模态模型,以及更高参数量的大语言模型在端侧的部署。

接下来为大家更深入的介绍高通Hexagon NPU。

第三代骁龙8上的Hexagon NPU不仅进行了微架构升级,还专门配置了独立的供电轨道,以实现最佳的能效。

我们还通过微切片推理技术支持网络深度融合,获取更极致的性能。

此外Hexagon NPU还集成了专门为生成式AI打造的Transformer加速模块,更高的DDR传输带宽,更高的主频等先进技术。

所有这些技术相结合,使得Hexagon NPU成为面向终端侧生成式AI的行业领先NPU。

接下来看一个具体案例,虚拟化身AI助手——这是非常典型的充分利用高通异构计算能力的端到端用例。

它包括众多复杂AI工作负载,首先需要自动语音识别(ASR)模型负责将语音信号转成文本,这部分工作负载可以运行在高通传感器中枢上;接下来会由大语言模型负责处理文本输入,生成回复和对话,这部分工作负载可以运行在NPU上;再通过文本生成语音(TTS)模型把文本输出转变成语音信号,这部分负载可以运行在CPU;最后由GPU模块负责基于语音输出同步完成虚拟化身渲染,这样就能得到一个端到端的用语音来交互的虚拟化身助手用例。

前面介绍了硬件技术,接下来分享一下高通平台的AI性能。

在智能手机领域,第三代骁龙8不管是在鲁大师AIMark V4.3、安兔兔AITuTu这些AI基准测试的总分方面,还是在MLCommon MLPerf推理:

Mobile V3.1的具体模型推理性能测试方面,表现都远超于竞品。在PC方面,骁龙X Elite在面向Windows的UL Procyon AI推理基准测试中,表现也超过了基于X86架构的竞品。

高通除了提供领先的硬件平台设计之外,也推出了一个跨平台、跨终端、跨操作系统的统一软件栈,叫做高通AI软件栈(Qualcomm AI Stack)

高通AI软件栈支持所有目前主流的训练框架和执行环境,我们还为开发者提供不同级别、不同层次的优化接口,以及完整的编译工具链,让开发者可以在骁龙平台上更加高效的完成模型的开发、优化和部署。

值得强调的是,高通AI软件栈是一个跨平台、跨终端的统一解决方案,所以开发者只要在高通和骁龙的一个平台上完成模型的优化部署工作,便可以非常方便的将这部分工作迁移到高通和骁龙的其他所有产品上。

今年MWC巴塞罗那期间,高通发布了非常重量级的产品,高通AI Hub(Qualcomm AI Hub)。该产品面向第三方开发者和合作伙伴,可以帮助开发者更加充分的利用高通和骁龙底层芯片的硬件算力,开发出自己的创新AI应用。

利用高通AI Hub进行应用开发的过程就像“把大象塞进冰箱”一样简单。

第一步,根据用例选择所需模型。

第二步,选择需要部署的高通或骁龙平台。

第三步,只需要写几行脚本代码,就可以完成整个模型部署,在终端侧看到应用或算法的运行效果。

目前,高通AI Hub已经支持约100个模型,其中有大家比较关心的生成式AI模型,包括语言、文本和图像生成,也包括传统AI模型,例如图像识别、图像分割,自然语言理解、自然语言处理等等。具体的模型信息,欢迎大家访问高通AI Hub网站进行查询。

最后总结一下高通的AI领先优势。

第一,高通支持实现无与伦比的终端侧AI性能。

第二,高通具备顶尖的异构计算能力,使AI能力能够贯穿整个SoC,将CPU、GPU、NPU和高通传感器中枢的能力都充分释放给应用开发者。

第三,高通提供可扩展的AI软件工具,即前面提到的高通AI软件栈等。

最后,高通可以支持广泛的生态系统和AI模型。

高通AI Hub
AIHUB.QUALCOMM.COM

—  —

点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
终端侧生成式AI离我们还有多远?Suno v3音乐生成模型发布,几秒钟生成完整歌曲;富士通用生成式AI加速药物研发丨AIGC日报北大袁粒:用户不会为只能“闲聊”的大模型买单 | 中国AIGC产业峰会商汤杨帆:尺度定律主导AI迭代,降低门槛才能迎来AIGC应用爆发 | 中国AIGC产业峰会深度报道:性萧条时代已来临拜登的美国第一和川普的美国第一改革开放奇迹真的是天下无双吗?余承东卸任华为终端BG CEO,终端COO何刚接任|36氪独家《草原三杯酒》&《爱情雪》百度霸气女总裁翻车,中国的大企业还没醒过来,他们不知道新时代已经来了阿尔特曼称GPT-5提升超想象;库克在中国首谈生成式AI;字节推出视频生成新模型丨AIGC大事日报美图吴欣鸿:国产Sora竞争关键,在创意、工作流和垂直场景 | 中国AIGC产业峰会亚马逊云科技王晓野:八成CEO认为生成式AI在18个月内颠覆所有行业丨中国AIGC产业峰会安谋科技杨磊:抢占端侧大模型部署制高点,NPU将为端侧提供关键动力丨GenAICon 2024印象笔记唐毅:AI如何升级你的“第二大脑”|中国AIGC产业峰会硅谷VC张璐:硅谷大模型市场已明确分为三类,三大应用领域迭代速度较快 | 中国AIGC产业峰会端侧 AI 新篇章!商汤科技发布「速度最快」的端侧模型阿里林俊旸:大模型对很多人来说不够用,打造多模态Agent是关键 | 中国AIGC产业峰会金山办公姚冬:AI让办公不再孤立,LUI是下一代交互 | 中国AIGC产业峰会逐际动力张力:人形机器人应该代替人类,而不是代替工具 | 中国AIGC产业峰会报名开启|2024中国AIGC产业峰会定档4月17日,首批嘉宾重磅来袭!岩井俊二:谁都可以拍出电影的时代已经来临繁花有信,好事常临|Z News「2024亚太人工智能与机器人产业峰会暨GOTC全球开源技术峰会」即将召开!全球议题征集中解密中国首个“音乐版Sora” | 中国AIGC产业峰会情绪时代已经来临如何靠AI变身“六边形战士”|得到快刀青衣&中国AIGC产业峰会小冰徐元春:AIGC已经让普通人开始赚钱 | 中国AIGC产业峰会来自陌生人的善意万字梳理中国AIGC产业峰会激辩,大模型应用最全行业参考在此AIGC年度激辩:3轮交互内准确率95%以上才能真正应用| 中国AIGC产业峰会倒计时1天|在中国AIGC产业峰会,一天看尽AIGC最新趋势再见安卓,鸿蒙操作系统时代已经来临!| 极客时间人大卢志武:只要拿到更多算力,超过Sora也不是那么难的事|中国AIGC产业峰会门当户对婚姻,不向上攀跃,不向下兼容;亚马逊Ber招人难困扰
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。