首个AI内核操作系统!断网挑战花样玩法,个人化属性拉满
明敏 鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
手机有了大模型,玩转vlog剪辑这么简单了?
只需给手机智能助手提要求,“帮我生成XXX的视频”。
然后它立马从相册里找到相关的素材。
点击生成视频,立马一个剪辑精美的视频就来了。
这个效果来自于荣耀最新发布的MagicOS 8.0操作系统(中文名:魔法OS 8.0),如上对话成片的能力,源于荣耀魔法大模型与MagicOS的深度结合。
这是一个以平台级AI为内核的新系统,并创新性地引入端侧大模型全面使能AI内核。
不只是会搞创作,它还能利用深度语义理解+意图识别,成为“个人智能助理”。
比如老师发来的家长会消息,长按就能一键创建日程。
也有多模态能力,长按邀请函、一拖,就能识别具体时间地点主题,然后一键加入日程。
如此看来,平台级AI+MagicOS,让手机越来越有智能私人助理那感觉了~
而且这种体验离普通人都很近,荣耀在发布会上表示,11号开启MagicOS 8.0公测计划,新老机型都能陆续体验。
如果是最新机型Magic6的话,还能在骁龙8 Gen 3的支持下,把大模型带到端侧,甚至“断网都能用”,隐私数据留存在端侧无需上云。
而这些还不是MagicOS 8.0的全部能力。具体还有啥?一起来看。
首发意图识别人机交互
以平台级AI为新内核的MagicOS 8.0,带来行业首个基于意图识别的人机交互。
从定义出发,意图识别交互是让设备可以主动理解意图完成任务。
这种新范式具体该怎么做?MagicOS 8.0上新的核心功能之一——“任意门”可以带来更直观的理解。
“任意门”基于Magic Live平台级AI、多模态意图识别引擎、意图分析决策平台实现。
带来的关键改变就是,APP之间的跨转可以一步直达了。
举个栗子。往常我们从小红书上种草了一个物品,需要先在小红书上保存图片,然后手动切换到购物APP,选择识图搜索,最后才能开始浏览商品。如果还想进行比价,还需要再切换另一个购物APP。
而“任意门”能将这个非常繁琐的流程,简化成两步:长按+一拖。
比价也更加简单,两个APP都能变成浮窗放在屏幕侧方,方便来回查看。
或者是在短信上收到地址,也能长按、一拖,通过“任意门”一步导航。
这种帮人省事的操作,对于不擅长手机操作的人群来说,更加有必要。
比如对于老年人来说,输入法打字都存在门槛,更别提在各种APP上搜索了。
“任意门”基于多模态能力,可以长按识别照片中的文字,然后选中、复制粘贴,一拖直接搜索。
不只是任意门的“一按一拉”,还有三指下滑,可以收藏在手机上看到的各种信息。把各个APP中的收藏,集中整合到一起,最后能在手机上形成一个个人知识中心。
除此之外,MagicOS 8.0还带来了系统级的主动服务。
比如收到出行短信,就可以自动创建日程。
截图聊天软件中的日程信息,点击“创建日程”,系统就能识别其中的时间地点等信息,创建对应日程。
还有灵动胶囊,率先使用了眼动交互。当应用以灵动胶囊卡片的形式放在桌面时,注视胶囊即可跳回到应用内。
值得一提的是,针对打车这种不方便操作手机的场景,MagicOS 8.0会根据实时追踪在耳机内播报信息。
考虑到现在大家日常经常是不同设备协同使用,MagicOS 8.0还构建了一个信任环。
手机、电脑、平板、手表、耳机、车机、打印机都能加入。
比如上班路上正在看的文档,可以从手机向上一拖,直接发送到电脑。
综上就是MagicOS 8.0意图识别交互的亮点功能。
智能化方面的升级,得益于荣耀平台级AI以及端侧大模型的加持。
MagicOS 8.0是以平台级AI为内核、为底座。
它基于“Magic Live智慧引擎”。相较于传统的OS内核,它不是单纯基于设备的资源进行计算,而是更加关注手机用户个人,比如位置、状态、个人习惯、知识库等人因元素,就像是钢铁侠的贾维斯那样。
此外,为进一步增加平台级AI对人因元素的学习和理解,荣耀正式发布了自研70亿参数大模型“魔法大模型”。通过和高通联合开发调试,魔法大模型经过量化压缩后可被部署在骁龙8 Gen3上,也就是能在“端侧、离线运行”。
因为没有上云,用户的个人数据可以被更好保护;同时,模型在端侧可以更好利用数据,对用户个人的习惯、意图深入学习。
而在大模型的加持下,平台级AI具备了智能认知能力,可从场景感知进化到感知理解,能对内容进行推理学习,还可以对复杂任务进行拆解。
由此可以把以往系统被动的响应、变成主动服务;让设备可以更理解人;让传统的触摸交互,升级为多模态交互。
也是基于这些改变,MagicOS 8.0才能带来基于意图的智能终端交互新范式,并且在新机Magic6上首发。
不过,想要让大模型能够系统级地融入到手机OS,并不是一件易事。从性能与功耗的平衡,到能力与场景该如何结合,当下行业内还没有形成标准答案。
所以,明确提出意图识别人机交互的荣耀,具体是怎么做的?
70亿参数大模型如何进手机
尽管与千亿、万亿规模的云端大模型相比,70亿参数量看上去并不算大,但实际上,一个70亿参数的模型在网络上也要占到二十几个G。
对于手机这样的终端载体来说,能不能放得下、放进去后能不能正常运转,都仍是业界普遍关注的技术难题。
第一重直观挑战,就是如何把如此大的模型“装”进手机。
这里涉及到的关键技术,是AI量化、压缩技术。荣耀透露,荣耀联合高通在大模型量化压缩方面进行了深度调优,“魔法大模型”被部署在骁龙8 Gen3上,能实现流畅的端侧运行。
举个具体的例子,荣耀在内部打造了高性能加速平台,基于这一平台的量化压缩、算子加速和芯片智能释放能力,一个20G+的7B参数大模型,能被压缩至原本的1/6。
解决了大模型进手机的问题,还只是第一步。大模型要成为操作系统内核的重要助力,真正去理解用户的意图,完成各种功能调度,还面临一重重大挑战:算力。
在这个环节上,荣耀同样和高通进行了深度合作:双方联合优化了端侧AI大模型的推理性能,以充分释放端侧NPU算力。
同时,荣耀和高通还从系统调度层面,对大模型带来的功耗问题进行了深度优化。在隐私安全方面,双方联合优化了端侧AI大模型应用的数据通道保护,以保障用户数据安全。
值得一提的是,荣耀MagicOS 研发向我们透露,此番MagicOS 8.0展现出意图识别人机交互能力,可以理解为AI Agent能力的展现。
实际上,7B的魔法大模型是MagicOS 8.0大模型能力中最大的一个模块,具体任务调度中,大模型会调度更小的1B、3.5B模型来解决问题。
荣耀CTO邓斌进一步解释说:
大模型真正的核心能力是完成任务闭环。
荣耀更专注在把一个通用模型分解成多个专用模型。先对用户的意图进行对话理解,再用专用大模型去解决问题。
如此一来,就能进一步解决大模型进手机面临的内存、功耗问题。
端侧大模型在保护用户隐私、提供专属服务方面,有着不可替代的价值,是大模型在终端落地应用的关键所在。
但不可否认的是,参数量更大的云侧大模型,拥有更强大的智能涌现能力,同时,很多垂直领域大模型也是在云侧部署的。
此前,荣耀CEO赵明就曾发表观点,认为“未来端侧AI与云侧AI相结合,才能更好地满足用户需求”。
为了接入云侧大模型,同时又要保证隐私数据不出手机,荣耀还自研了大模型中控平台,实现端侧大模型、通用大模型以及垂域大模型的安全高效连接。
简单来说,就是在调用云侧大模型时,端侧大模型会帮你将隐私数据留存在本地,同时根据简单对话分析理解用户的真实意图,生成更为详细的prompt来与云侧大模型交互。
这一方面保障了数据安全,另一方面也简化了用户与云侧大模型交互的过程。
以荣耀与航旅纵横正在联合打造的智慧出行为例,在荣耀Magic6上告知YOYO智能助手“下周一要到北京出差”,YOYO智能助手就会在本地根据对日程、用户个人习惯的理解,get到用户具体何时要出发、从哪里出发,进而将需求分解到具体的航班时间和航司要求,脱敏后调用航旅纵横千穰大模型给出航班推荐。
△该案例预计于今年上半年完成落地
发布会上,荣耀还发布了百模生态计划,即以自研中控架构打造一个“大模型货架”,让通用模型、垂域模型都能加入到大模型移动应用生态当中。
值得关注的是,这样依托于大模型,打造个人化操作系统的技术能力,对于荣耀而言并非一蹴而就。
赵明在新荣耀三周年之际提到:操作系统的个人化是荣耀发展的方向。
从荣耀独立的那天起,我们就重资投入AI领域。AI大模型出来之前,荣耀打造的是平台级AI的能力,是让手机越用越懂你,越用越好用。平台级AI不仅仅是拍照,还有手机的流畅度,各种应用调度更加精准,用AI能力使能荣耀手机的各个维度。
荣耀认为端侧大模型是平台级AI演进和发展的升级。
目前,荣耀AI研发费用已累计达100亿,AI专利成果达2100篇,AI意图识别达600类。
大模型时代,AI新生态已现雏形
大模型技术带来的变革,核心是人机交互方式的变革。而大模型应用落地场景从云上向端侧的迁移,正在让这个趋势越来越明朗。
在此过程中,荣耀这样的终端厂商,无疑正在扮演越来越重要的角色:
通过端侧大模型的能力,在保证数据安全的情况下,充分分析、理解用户个人数据,让“贾维斯”这样的超级助手离现实更近一步。
进而,用户能够通过手机这一窗口,连通大模型重构的一切,在新的技术时代,将“提出问题”的难题交还给大模型,用更简单的方式实现更复杂的目标。
站在开发者的角度,新的应用生态、新的技术机遇也由此出现:
大模型和手机终端的结合,已经率先由中国手机厂商卷起热浪。在终端AI领域,中国手机厂商和中国开发者强强结合的机会正在显现,有望在大模型全球竞速中,在应用领域建立起优势。
就在荣耀MagicOS 8.0发布现场,荣耀还官宣,2024年荣耀远航计划扶持资源额度提升至20亿,聚合应用分发、服务分发、内容分发等全场景,提供2000+以上扶持名额,助力中国应用服务出海,加速激励和扶持开发者创新。
而在2023年底,荣耀云业务已全面升级,面向中国市场推出全域自研产品矩阵,包括应用市场、游戏中心、主题中心、智慧服务等,意在以新渠道、新流量为生态伙伴解锁新增长。
值得关注的是,荣耀在2022年后海外业务发展迅猛。市场调研数据显示,2023年第三季度欧洲手机市场中,荣耀是全球唯一正增长的手机品牌。
另外,荣耀旗舰机Magic系列2023年前三季在海外市场的销量同比增长超300%,不到10个月里,荣耀在法国、意大利、西班牙和罗马尼亚等多地实现了3-7倍的增长。
这也是华为之后,中国手机厂商在欧洲市场的全新突破。
出海战略之下,正如赵明所说,“中国荣耀远远不够,我们要打造世界荣耀”。
或许这一次,将会改变每个现代人生活体验的外挂大脑,正在从中国出发,将风暴吹向世界,而中国AI也将成为世界荣耀。
— 完 —
点这里👇关注我,记得标星哦~
微信扫码关注该文公众号作者