对于2024年的智能手机厂商们来说,在冲击高端市场的路上有一场绝对输不起的硬仗,那就是AI大模型的落地之战。OpenAI的ChatGPT引爆了全球AIGC(生成式人工智能)热潮,短短一年时间里,以ChatGPT为代表的AIGC产品席卷全球,中外科技圈掀起声势浩大的“百模”、“千模”大战。但很快,AI 的新篇章似乎已经悄然翻开。越来越多的中国科技公司开始意识到,与其盲目做大模型,不如抓大模型落地应用,对于国内玩家来说,机会或许不在于“造轮子”,而在于打磨大模型终端应用和体验,带来消费者真正能感知到的创新。中国有着全球数量最多的头部智能手机厂商和全球规模最大的智能手机用户,对于终端厂商们来说,把AI大模型的端侧落地做好,结合端侧应用大爆发,真正实现体验的创新,或许会成为“翻盘”的好机会。这也是中国AI的战略机会点所在。在这样的大背景下,近半年多时间,各家厂商陆续将AI大模型应用在智能手机中。近日,荣耀也在AI大模型端侧落地应用方面带来了一系列重磅新产品和新技术,同时在技术实现和思维方式上与其他厂商有所不同。荣耀发布的MagicOS 8.0系统(中文名:魔法OS 8.0),是一个以AI为新内核的操作系统,也是行业内端侧平台级AI大模型落地的一次突破性尝试,成为业内第一个基于AI意图识别的个人化操作系统。整体来看,魔法OS重新定义了操作系统的范式:用平台级AI作为新内核、基于意图识别的全新人机交互方式,以及独特的大模型服务生态。时至今日,比拼模型参数已经成为过去时,谁能把大模型用的最好,才是真正的关键所在。在魔法OS落地Magic6系列新机之际,智东西提前与荣耀多位高管进行了对话,对荣耀MagicOS 8.0背后的核心技术和关键创新、荣耀面向AI新时代的深入思考长期战略规划,进行了深入挖掘,尝试更好地看清中国AI发展的趋势和未来。或许正如荣耀CEO赵明在发布会上所说的一样:“操作系统值得用AI重做一次。”大模型加持的平台级AI:断网也能用!AI原来还可以这样懂你
独立三年以来,荣耀一直在打破外界各种质疑,从生存、练内功、到全面爆发,从市场份额几乎归零到国内销量第一。面对今天的端侧AI大模型之战,荣耀究竟要如何通过魔法OS上演“换道超车”,能否实现“后发先至”,领先行业?这是所有人关注的焦点。首先,对于“端侧”这事,虽然各家都做了一段时间,但用户普遍反应“感知不强”,各家方案一眼望去,主要区别仍然是一些AIGC创作功能。而荣耀这次的“较真”程度,无疑是各家中最高的,荣耀是真的把“以端侧平台级AI为内核”这事给做成了,这与“拿来一个大模型用上部分功能”有着本质上的区别。以端侧平台级AI为内核的OS,究竟应该是什么样子?平台级AI究竟有何不同?荣耀这次给出了自己的答案。实际上,真正使能魔法OS的是平台级AI——Magic Live智慧引擎,而大模型起到的则是“加持”平台级AI的作用。众所周知,端侧大模型可以进行更多模态的分析与交互,基于更多的因素来进行决策、分析,同时能够带来更好的隐私保护。借此,系统可以更好的训练用户个人数据,对用户意图进行更深度、更精准、更细腻的理解。在同期发布的荣耀新旗舰Magic6系列“最优解”产品上,我们能看到众多Magic Live智慧引擎带来的新功能。比如在Magic6系列上的智慧成片功能,可以让用户直接通过自然语言与YOYO智能助手对话,YOYO可以按照用户的“提示”挑选本地图库中的特定素材,并搭配视频模板,完成配乐、自动AIGC配文,最后快速剪辑生成一个精彩个人视频。▲用户直接通过自然语言与YOYO智能助手对话,YOYO可以智慧一键成片
端侧大模型加持的平台级AI,可以像真正的智能助理一样理解我们的话语和意图,并且根据只属于我们个人的本地信息进行创作。另一个图库语义搜索功能,则可以让用户通过自然语言精准搜索图库的图片和视频。当然,此前被“剧透”最多,也是大家最为期待的一项功能,就是魔法OS 8.0中的“任意门”。基于任意门功能中的多模态日程收纳能力,用户可以将复杂的文字信息、图片、照片、复杂对话截图直接拖入任意门,一步生成日程,比如聊天软件里工作伙伴的邀约拜访,学校老师的群消息通知等内容也可以一步录入行程。我们随手拍下的邀请函、挂号单照片,也可以直接拖入任意门中生成日程。这背后,大模型加持的平台级AI所具有的深度语义理解能力和图文理解能力都至关重要。值得一提的是,上述这些新功能新体验,均可以在断网状态下实现,比如在出差旅行中的“飞行模式”下,这些功能也都可以正常使用。这与目前行业内普遍需要联网才能实现的方案相比,是真正的“端侧”。据了解,荣耀联合高通进行了大量深度开发调试,荣耀自研的70亿参数的大模型经过量化压缩后,被部署在骁龙8 Gen3上,实现了端侧的流畅运行,这背后双方一起攻克了不少端侧大模型性能和功耗平衡方面的难题。从Magic6系列上的各类新功能新体验中我们可以看到,大模型的加持让荣耀的平台级AI实现了从感知到认知的跨越,场景感知进化到感知理解,用户理解进化到内容和推理学习,意图决策进化到复杂任务分解。平台级AI对用户数字内容进行深层次、全面性的学习和理解,基于更多的因素来进行决策、分析,实现更精准的意图识别和千人千面的个人化服务。在近期窦文涛与赵明进行的一次深度对话中,赵明对于荣耀要做的AI给出了一个精妙的形容:“父母的指导,又何尝不是一种AI?”父母的指导是基于对你的了解提出针对性建议,荣耀Magic6上的端侧大模型亦是如此,因为懂你,所以可以带来更好的服务。值得一提的是,大模型相关的数据存储会采用荣耀两锁一芯的架构,保证模型在端侧安全运行并存储,和端外完全隔离。同时在用户更换手机这种数据出端的情况下,会采用PQC加密算法护航数据传输,来保证魔法大模型对个人数据的安全继承。这一架构很好地保证了端侧个人知识库的可迁移、可继承、可成长。总体来看,荣耀绝非“拿来即用”,荣耀希望把大模型融到整个系统平台中,和各种业务、任务做交互,形成一种大模型真正的“加持”、“助力”。荣耀CTO邓斌告诉智东西,荣耀从一开始就希望把理解用户作为整个系统的中枢神经,荣耀在围绕用户感知和用户意图这样一个整体任务实现过程中,遇到了大模型,大模型加快了AI系统对各个服务的理解、对用户意图的理解。邓斌特别提到,未来AI的发展和成长应该是操作系统个人化,因此荣耀一直想做的都是AI使能的个人化操作系统,从2016年至今,荣耀一直不断加深AI在操作系统中的应用,而AI大模型的作用正是“加速使能”,让这个愿景逐渐走入现实。传统人机交互范式被彻底打破,从人找服务到服务找人,魔法OS有望成“第三极”
在大模型的全面融入、加持之下,荣耀的平台级AI完成了从感知到认知的升级,而这种升级进一步带来的是人机交互范式的革新,这种范式革新或许对产业有着更深远的影响。纵观此次Magic6系列上所搭载的魔法OS,它可以说是行业内第一次真正意义上实现了基于意图识别的人机交互(Intent Based UI,简称IUI)。从传统的基于需求查找到基于AI意图识别的主动服务,这称得上是一次“进化”了。这次Magic6上魔法OS的IUI支持自然语言、语音、图片、手势、眼动等多种模态信息的输入,系统可以智能识别我们的意图,进而提供主动的个性化服务,直接完成复杂场景的任务闭环,这可以明显降低普通用户的用机门槛,提升交互的效率。基于魔法OS的IUI、Magic Live平台级AI、多模态意图识别引擎、意图分析决策平台,这次荣耀在Magic6系列上新推出的任意门功能可以说是整场发布会的C位。在具体交互方式上,我们只需要长按所在界面的文字、图片、文件或视频,拖至左右两侧屏幕边缘处,任意门就会自动“开启”,系统会根据拖拽内容自动识别用户意图,在门内动态匹配智慧推荐服务。比如当我们长按淘口令、一些商品图片拖到屏幕边缘,任意门开启后就会智能推荐拍立淘、京东等购物软件,只要“一松手”,对应商品就会直接在相应软件中被找到呈现,实现一键比价购物。▲荣耀MagicOS 8.0中的任意门功能,可以实现一拖日程创建、购物比价、抠图分享、打车导航等功能
如果我们长按旅游景点图片,拖放到抖音等应用中,最新的旅游视频、图文攻略就会直接呈现在我们眼前。在出行场景中,传统苹果iOS系统打车大约需要10秒8步操作,而借助荣耀任意门,我们可以直接按住短信内容一拖,进入打车软件,真正实现“一步打车”的体验。不仅是打车,在当下行业大热的车机互联方面,荣耀基于信任环和任意门能力,可以实现“一拖导航”、“一拖分享”等功能,这种交互体验解决了车机交互目前存在的不少行业痛点。据了解,目前荣耀任意门已经支持中国市场超过100款的主流应用服务,覆盖了出行、办公、社交、搜索、娱乐、购物等六个最高频的应用场景。比如百度地图、B站、滴滴、抖音、高德、优酷、支付宝这些热门应用都已经支持或即将支持任意门功能,从一拖比价、一拖观影到一拖抠图、一拖分享、一拖全局收藏,荣耀任意门功能给行业带来的是IUI的无限想象力。值得一提的是,荣耀任意门真正打破了应用间体验壁垒,实现信息跨应用、跨设备的智慧流转,这种体验是具有开创性的,而背后所用到的多模态决策引擎、端侧大模型能力也离不开荣耀的关键技术创新。令老用户惊喜的是,此次Magic6系列上首次落地的任意门功能,也会在后续升级支持更多前代机型,甚至包括Magic3、荣耀50系列等经典老机型。这也体现出荣耀平台级AI Magic Live在技术脉络上的延续性及出色的兼容性、适用性。在与荣耀高管的深入交流中,我们进一步了解了“任意门”功能背后荣耀在AI方面的一些深入思考。实际上,任意门这种基于意图识别的交互,解决了大模型落地应用过程中最核心的痛点之一——在各类大模型遍地开花的今天,用户难的不是怎么得到一个最好的答案,而是如何问出一个最好的问题。荣耀实际上在做的就是帮助消费者问出最好的问题,让大模型真正理解消费者到底要什么,并将理解用户、为用户提供对应服务这个流程真正做到操作系统中去,形成这种平台级AI能力。在魔法OS中,用户不需要用繁琐的解释说明自己到底要什么,因为AI会自主理解用户——荣耀在用最简单的方式实现最复杂的目标,这是荣耀大模型应用落地跟其他厂商最本质的区别之一。回顾人机交互的发展历程,从1964年的命令式交互到1983年以MacOS、Windows为代表的图形用户界面时代,再到2007年以初代iPhone为代表的以触摸为核心的自然用户界面。这些传统人机交互是基于记忆和查找的方式来提供服务,它需要人理解设备,而AI带来的颠覆性在于,AI让“设备理解人”成为可能,进而人的需求可以被直接满足,任意门这种“一步直达”式服务成为了现实。在AI掀起的人机交互变革中,荣耀作为智能终端厂商的代表,不仅用AI将操作系统重写一遍,同时正在重新定义人机交互范式,在不久的将来,魔法OS有望成为鸿蒙、iOS之外的第三极。生态变革前夜,打通端侧、通用、垂域三类大模型,荣耀百模生态加速生长
系统体验的完善离不开生态建设,而交互范式的改变将驱动应用生态的变革。随着AI大模型与操作系统、各类应用服务更紧密的融合,智能手机应用生态未来将演进到基于大模型的服务生态。基于大模型的服务生态绝非单一端侧或云端大模型可以覆盖的,这需要端云的协同,需要一个更聪明、更懂你的端侧AI智能助理帮助我们直达云侧大模型服务。云侧大模型掌握着海量通用知识和丰富应用服务,但对用户缺乏理解,沟通效率和对用户隐私的保障堪忧。端侧大模型则好比给你的大脑再加一个协处理器,更理解用户需求,但知识储备和服务能力有限。荣耀的解题思路是,魔法OS中的YOYO作为智能助理可以直接实现端云大模型能力的协同。具体来看,端侧大模型作为中控,可理解用户意图,拆解编排任务,并高效安全地连接云侧大模型,进而融合、调度原子化服务,完成复杂任务闭环。同时在整个过程中保护个人隐私安全。简单来说,YOYO作为外挂大脑一般的存在,可以理解你到底要什么,然后将你的需求转换为云侧大模型听得懂的“Prompt”,更好地调用其能力为我们服务。可以说,这种新范式打通了用户和云侧大模型之间的“最后一公里”,解决了用户在使用云侧大模型时“不会问、不敢问”的核心痛点。基于这样的思考,荣耀已经提前开始了基于大模型的服务生态构建,这次荣耀发布了百模生态计划 ,其中包括行业第一个大模型中控开放架构。据了解,云侧通用大模型和各种行业垂域大模型可以通过“货架化”方式融入到魔法OS中。形象地来看,荣耀提供了一个“大模型”超级商场,供用户和开发者们使用。当然,这个商场是否足够有吸引力,商品是否足够种类丰富、货量充足,还需要更多生态合作伙伴的加入。在三方应用端,荣耀正联合高德地图推出“一句话规划专属最优路线”功能,云侧通用大模型方面,荣耀与百度文心大模型联手推出文本创作、知识问答、生活建议等功能,而针对云侧垂域大模型,也有航旅纵横千穰大模型这样的合作方在跟进。这些功能和应用都将在今年上半年完成落地。▲荣耀即将联合高通推出的一句话规划专属最优路线功能
值得一提的是,针对生态建设,2024年荣耀发布了面向开发者的远航计划,将扶持资源额度提升至20亿,提供了2000多个扶持名额,助力中国应用服务出海,加速激励和扶持开发者创新。可以看到,基于魔法OS,云端的大模型将会被每个消费者的设备中的端侧大模型所连接、融合、调度,让消费者用最简单的方式体验到优质的大模型体验。荣耀正在利用AI大模型能力去跨域、跨模态地创造出更多新的服务,把各个应用当成一种服务能力的提供方,统一在一个平台上,围绕用户需求演进下去,这无疑是一场应用生态的新变革。做AI不是拍脑门,长期深耕是底气所在,平台级AI优势凸显
冰冻三尺非一日之寒,荣耀这次能够带来诸多AI技术侧的创新,离不开荣耀在AI领域的长期深耕和大量研发投入,今天魔法OS的诞生,绝非“魔法”。根据官方数据,荣耀在AI领域的研发费用超过百亿元,AI专利成果有2100篇,AI意图识别约600类。从2016年首次定义了基于AI的Magic Live智慧系统,率先把AI概念引入手机,荣耀开启了AI端侧发展的1.0时代,随着2.0时代平台级AI在MagicOS 7.0中的首次落地,AI开始在各类场景中愈发深度的使能。而到了今天,在大模型的加持下,荣耀的端侧AI发展已迈入3.0时代。深厚积累之下,荣耀的AI已并非单点,而是深入各个方面,通过平台级AI能力,在各方面提升用户的体验。比如在提升系统流畅度方面,在平台级AI加持下的Turbo X系统引擎,在对标iOS的297项流畅性测试中,优势场景相比上个系统版本的30%提升到了42%。通过平台级AI能力,系统可以智能识别出用户真正需要的应用,进行保活,而非追求绝对的保活数目。在AI互联方面,荣耀也把这种平台级AI引入到了互联技术栈中,这带来的最明显变化,就是系统可以感知用户当前使用的设备,自动完成服务的跨设备流转。同时,荣耀的信任环技术进一步迭代,提升了融合组网能力和智能传输能力,同时基于端侧AI打造了全链路反诈功能。可以看到,荣耀多年来在AI领域的深耕正广泛开花结果,在AI的新篇章里,荣耀毫无疑问有着更多机会,也在潜移默化中引领着AI大模型落地手机赛道的下一个发展方向。
荣耀魔法OS带来的交互范式革新、大模型加持的平台级AI能力,以及背后的一系列技术创新,必将深刻影响智能手机行业的发展,也将成为Magic6系列突围高端旗舰市场的关键竞争优势。未来,AI必然会离人越来越近,AI未来将不断走向端侧,深刻地影响每个人的生活,AI甚至将重新定义智能手机和移动互联网生态。在这样的大背景下,互联网厂商与手机厂商的联手将打造出最适合中国本土文化和社会形态的AI应用生态,中国端侧AI的未来充满想象。今天的荣耀正在加速迈向全球市场,在持续深耕AI之下,我们相信中国力量也能够成为世界荣耀。(本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容,未经账号授权,禁止随意转载。)