Redian新闻
>
一年投入数十亿,手机厂商抢滩大模型|焦点分析

一年投入数十亿,手机厂商抢滩大模型|焦点分析

公众号新闻

大模型如何塞进手机?


邱晓芬

编辑苏建勋

来源智能涌现(ID:AIEmergence)

封面来源36氪拍摄

当产业链还在为大模型如何落地苦恼时,手机厂商早已抢占了先机。大模型的战火烧到了手机厂商。

11月2日,vivo发布十亿、百亿、千亿级别三个参数量级的五个大模型矩阵;上个月,小米也将搭载大模型能力后的语音助手小爱同学,整体嵌套到了澎湃OS上;在更早的8月份,华为鸿蒙OS 4也宣布接入大模型。

手机厂商对于大模型的投入不低。vivo副总裁周围透露,vivo的大模型经过了6年时间打磨,累计投入超过200亿元、整个团队人数超过1000人。小米这边尽管没有披露具体的投入金额,但在一次发布会上,雷军也激情表示“小米全面拥抱大模型”,并且把AI列为了未来最重要的几大技术方向之一。

OPPO和荣耀,尽管还没有大模型产品的落地,但在产品发布之前也时不时透露最新进展,生怕掉队。

不同于vivo走纯自研的路线,OPPO更倾向于与行业力量协作。不久前,OPPO 宣布将和联发科共建轻量化大模型端侧部署方案,将基于AndesGPT大模型,重新打造全新的小布语音。

荣耀CEO赵明在不久前的高通骁龙峰会上也宣布,荣耀Magic6系列将搭载AI端侧大模型,并首次向外界展示了荣耀手机端侧AI大模型的部分功能。

那么,当大模型落地到薄薄的手机上,对硬件层面又提出了什么更高的要求?手机厂商们将如何借用大模型的能力提升用户体验?

手机要加大模型,不容易

据36氪观察,vivo、荣耀、小米的大模型基本上都从6B、7B(60亿、70亿)的数据量开始做起,逐渐往更大的大数据量拓展,其中,vivo可能是手机厂商中追赶速度最快的,其称已经在手机端跑通了13B(130 亿)大模型。

vivo副总裁周围表示,据内部测试,7B的数据量足够做好简单的文档摘要和拆解的功能,但要真正实现“智能涌现”,7B数据量的大模型任务拆解能力还有提升空间,13B可能是更好的选择。


Vivo大模型矩阵,图源:36氪拍摄

举个例子,如果对手机提出买一张深圳到北京的机票的要求,这个简单的指令背后,实则包含着多个任务拆解,比如:发出指令的用户的经济情况?如何想坐几点的航班?偏好的航司等等。“对于复杂的任务拆解,1B不够用,7B勉强胜任,13B刚刚好”。

目前,手机厂商大模型在计算上,基本采用两种路径,荣耀、小米是采用端侧计算的模式,vivo则是端侧和云端两条路径并行。

两种模式各有优缺点。

云端缺点是太贵——有行业人士对36氪测算,一次大模型云端计算的最低成本是一分二人民币,若3亿用户每天用十次,意味着手机厂商一年要凭空多出一百多亿的支出。

而相比之下,端侧计算成本更可控,并且由于数据不用上云,安全隐私性更强,并且计算效率更高。不过,端侧计算却对手机硬件提出了更高的要求。一般而言,大模型肯定是越大越好,这代表着推理结果会越精确,但是,手机的内存、核心处理器的计算能力却是有限的。

36氪了解到,1B的数据在手机上会占用1个G的内存,7B则会占用4G内存,而当数据量达到13B,内存占用达到7G——如今大部分高端手机的闪存是12G或16G。这代表着,一个好用的大模型要在手机端边落地,可能占掉一半以上的内存,或影响手机的流畅使用。

而尴尬的是,尽管2023年以来,手机厂商已经将本地存储容量卷到了1TB以上、还尝试内存融合/扩展技术,将本地内存转化为运存,但这对于现阶段的大模型来说并没有太大的帮助。

这是因为,大模型的数据往往是以成片成片得存在,在进行推理时,手机并不知道要用到哪一片,没办法将数据切割再放到本地存储中存放。

大模型对手机的挑战远远不止内存。一位行业人士称,大模型计算同样对芯片计算能力提出了更高的要求。当前,行业内可供采用的芯片不多,只有联发科天玑9300和高通骁龙8gen 3芯片能支持大模型的端侧落地。

不过,芯片厂商们也敏锐识别了手机厂商的诉求。比如,高通近期就在骁龙8 gen 3上提升了AI计算能力,不仅能支持运行最高100亿参数的模型,并且能够运行每秒生成高达20个token(即:大模型中文本的最小单位)的70亿参数大语言模型。这意味着,各类虚拟助手、GPT 聊天机器人未来都能在手机等终端运行。

大模型对于手机内存和芯片的限定要求,也注定了,在短期内这可能只会是高端手机的专属体验。
手机大模型,未来的助手

基本所有手机厂商,都不约而同将他们的大模型技术,落地到了语音助手这个产品上。在过去,每一家手机厂商都布局有自己的语音助手,比如OPPO的小布、华为的小艺、vivo的小 V。

只是,这些语音助手相当鸡肋,难以理解用户的需求,能做的事情也很有限,难以成为用户重度工作/生活时的核心工具。

不过,在和大模型的底层功能打通后,意味着语音助手的理解能力慢慢从幼儿园向高中生演进。不难看出,所有手机厂商对于全新语音助手的设想都是,让其成为用户的私人助理。

“大模型的知识超出了个体的知识,它可以像一个人一样理解你的语言,每天观察你、学习你、了解你的习惯,给你最好的帮助,完成你的任务”,OPPO首席产品官刘作虎表示。

从各家的公布的信息来看,手机厂商的大模型基本上都瞄准了语言理解、文本创作、自然对话、角色扮演等等功能。对于用户来说,他们可以让手机上的大模型助手帮他们找到特定的图片、写特定的文案、帮忙梳理文章重点大纲等等。

不过,大模型语音助手要真正成为一个智能助手,除了持续堆人堆钱堆算力堆数据之外,一个更大的阻碍在于,如何与上层的软件应用建立信任,让其上的数据和功能可以被手机厂商所调用。

还是以“让手机助手帮忙买机票”为例,手机至少要完成指令,至少需要调用到这几个方面的权限——支付宝或微信的支付信息、用户的日程信息、用户过往的航班信息等等。一位行业人士表示,过往用户在浏览的过程中所产生的流量和数据归应用方所有,应用方并不愿意拱手让出。

未来,大模型未来是否真正能在手机端落地,还取决于手机厂商如何在手机有限的空间内更大程度发挥出大模型的作用、以及如何将表层的大模型与手机背后那些应用做更深入的打通。

而在手机市场出现创新瓶颈、各家卯足劲冲决战高端市场的现在,这些苦功夫是值得的,手机厂商们也都愿意花钱一试。

36氪旗下AI公众号

真诚推荐你关注



来个“分享、点赞、在看”👇

大模型如何塞进手机?

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
营收增长不足5%,格力和美的渐行渐远|焦点分析男版Lululemon,难割中产男|焦点分析去年挣了300亿的优衣库,花3个亿给打工人涨薪|焦点分析升级「小时达」入口,抖音继续卷美团|焦点分析TikTok印尼电商业务急刹车,野蛮扩张背后的脆弱和敌意|焦点分析生活啊,我该如何打开你中产三宝,拉夫劳伦凭什么有一席之地?|焦点分析茶饮料变天了:一个新百亿大单品或将诞生|焦点分析新式茶饮,都想学蜜雪冰城|焦点分析大模型深入智慧之地,手机厂商会如何交卷?单克价格贵过黄金,花西子到底冤不冤?|焦点分析人均年薪100万 手机厂商数百亿开卷大模型不想掉队的Costco|焦点分析大模型不是手机厂商的杀手锏特斯拉、比亚迪和宁德时代,如何赚走了行业最多的钱?|焦点分析雅诗兰黛、海蓝之谜被点名,过度包装为何屡禁不止?|焦点分析特斯拉人形机器人大更新,给世界一点小震撼,但量产还很遥远|焦点分析消费品公司,「卷」向减碳黑科技|焦点分析南美高管成新副董事长,SHEIN不想只依靠中国供应商|焦点分析近期诗坛以秋与乡愁为题之唱和免税店的好日子到头了|焦点分析几条抖音评论引爆舆论,储能明星「海辰储能」:将报案|焦点分析佑驾创新,ADAS量产定点覆盖数十家主机厂+近百款车型|金球奖入围公示HPV疫苗之后再揽200亿订单,智飞生物又抱到了新「大腿」|焦点分析等了3年,「猛兽派对」却没能让玩家快乐起来|焦点分析股价狂跌30%,光伏黑马美梦初醒|焦点分析流體智力跟晶體智力的轉變人生很痛苦就是已經到了瓶頸無法再更進一步????香椿鸡蛋发面饼--不用揉,不用擀,趁热吃外酥内软,凉着吃,同样松软,香椿味更浓。(视频+图文)欧莱雅连弃两子,化妆品快卷成处方药了|焦点分析华为加持的问界M7,向新造车施展“魔法攻击”|焦点分析Miu Miu傍身,成为「富家千金」|焦点分析华文教育席卷全球怀胎半年​「混元」初开,腾讯大模型以慢为快|焦点分析跟山姆、Costco争夺中产,盒马的第一招是降价|焦点分析实探蜂巢叠片电池厂:和宁德时代不一样的电池制造|焦点分析
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。