一年投入数十亿,手机厂商抢滩大模型|焦点分析
大模型如何塞进手机?
文|邱晓芬
编辑|苏建勋
来源|智能涌现(ID:AIEmergence)
封面来源|36氪拍摄
当产业链还在为大模型如何落地苦恼时,手机厂商早已抢占了先机。大模型的战火烧到了手机厂商。
11月2日,vivo发布十亿、百亿、千亿级别三个参数量级的五个大模型矩阵;上个月,小米也将搭载大模型能力后的语音助手小爱同学,整体嵌套到了澎湃OS上;在更早的8月份,华为鸿蒙OS 4也宣布接入大模型。
手机厂商对于大模型的投入不低。vivo副总裁周围透露,vivo的大模型经过了6年时间打磨,累计投入超过200亿元、整个团队人数超过1000人。小米这边尽管没有披露具体的投入金额,但在一次发布会上,雷军也激情表示“小米全面拥抱大模型”,并且把AI列为了未来最重要的几大技术方向之一。
OPPO和荣耀,尽管还没有大模型产品的落地,但在产品发布之前也时不时透露最新进展,生怕掉队。
不同于vivo走纯自研的路线,OPPO更倾向于与行业力量协作。不久前,OPPO 宣布将和联发科共建轻量化大模型端侧部署方案,将基于AndesGPT大模型,重新打造全新的小布语音。
荣耀CEO赵明在不久前的高通骁龙峰会上也宣布,荣耀Magic6系列将搭载AI端侧大模型,并首次向外界展示了荣耀手机端侧AI大模型的部分功能。
手机要加大模型,不容易
据36氪观察,vivo、荣耀、小米的大模型基本上都从6B、7B(60亿、70亿)的数据量开始做起,逐渐往更大的大数据量拓展,其中,vivo可能是手机厂商中追赶速度最快的,其称已经在手机端跑通了13B(130 亿)大模型。
vivo副总裁周围表示,据内部测试,7B的数据量足够做好简单的文档摘要和拆解的功能,但要真正实现“智能涌现”,7B数据量的大模型任务拆解能力还有提升空间,13B可能是更好的选择。
Vivo大模型矩阵,图源:36氪拍摄
举个例子,如果对手机提出“买一张深圳到北京的机票”的要求,这个简单的指令背后,实则包含着多个任务拆解,比如:发出指令的用户的经济情况?如何想坐几点的航班?偏好的航司等等。“对于复杂的任务拆解,1B不够用,7B勉强胜任,13B刚刚好”。
目前,手机厂商大模型在计算上,基本采用两种路径,荣耀、小米是采用端侧计算的模式,vivo则是端侧和云端两条路径并行。
两种模式各有优缺点。
云端缺点是太贵——有行业人士对36氪测算,一次大模型云端计算的最低成本是一分二人民币,若3亿用户每天用十次,意味着手机厂商一年要凭空多出一百多亿的支出。
而相比之下,端侧计算成本更可控,并且由于数据不用上云,安全隐私性更强,并且计算效率更高。不过,端侧计算却对手机硬件提出了更高的要求。一般而言,大模型肯定是越大越好,这代表着推理结果会越精确,但是,手机的内存、核心处理器的计算能力却是有限的。
36氪了解到,1B的数据在手机上会占用1个G的内存,7B则会占用4G内存,而当数据量达到13B,内存占用达到7G——如今大部分高端手机的闪存是12G或16G。这代表着,一个好用的大模型要在手机端边落地,可能占掉一半以上的内存,或影响手机的流畅使用。
而尴尬的是,尽管2023年以来,手机厂商已经将本地存储容量卷到了1TB以上、还尝试内存融合/扩展技术,将本地内存转化为运存,但这对于现阶段的大模型来说并没有太大的帮助。
这是因为,大模型的数据往往是以成片成片得存在,在进行推理时,手机并不知道要用到哪一片,没办法将数据切割再放到本地存储中存放。
大模型对手机的挑战远远不止内存。一位行业人士称,大模型计算同样对芯片计算能力提出了更高的要求。当前,行业内可供采用的芯片不多,只有联发科天玑9300和高通骁龙8gen 3芯片能支持大模型的端侧落地。
不过,芯片厂商们也敏锐识别了手机厂商的诉求。比如,高通近期就在骁龙8 gen 3上提升了AI计算能力,不仅能支持运行最高100亿参数的模型,并且能够运行每秒生成高达20个token(即:大模型中文本的最小单位)的70亿参数大语言模型。这意味着,各类虚拟助手、GPT 聊天机器人未来都能在手机等终端运行。
基本所有手机厂商,都不约而同将他们的大模型技术,落地到了语音助手这个产品上。在过去,每一家手机厂商都布局有自己的语音助手,比如OPPO的小布、华为的小艺、vivo的小 V。
只是,这些语音助手相当鸡肋,难以理解用户的需求,能做的事情也很有限,难以成为用户重度工作/生活时的核心工具。
不过,在和大模型的底层功能打通后,意味着语音助手的理解能力慢慢从幼儿园向高中生演进。不难看出,所有手机厂商对于全新语音助手的设想都是,让其成为用户的私人助理。
“大模型的知识超出了个体的知识,它可以像一个人一样理解你的语言,每天观察你、学习你、了解你的习惯,给你最好的帮助,完成你的任务”,OPPO首席产品官刘作虎表示。
从各家的公布的信息来看,手机厂商的大模型基本上都瞄准了语言理解、文本创作、自然对话、角色扮演等等功能。对于用户来说,他们可以让手机上的大模型助手帮他们找到特定的图片、写特定的文案、帮忙梳理文章重点大纲等等。
不过,大模型语音助手要真正成为一个智能助手,除了持续堆人堆钱堆算力堆数据之外,一个更大的阻碍在于,如何与上层的软件应用建立信任,让其上的数据和功能可以被手机厂商所调用。
还是以“让手机助手帮忙买机票”为例,手机至少要完成指令,至少需要调用到这几个方面的权限——支付宝或微信的支付信息、用户的日程信息、用户过往的航班信息等等。一位行业人士表示,过往用户在浏览的过程中所产生的流量和数据归应用方所有,应用方并不愿意拱手让出。
未来,大模型未来是否真正能在手机端落地,还取决于手机厂商如何在手机有限的空间内更大程度发挥出大模型的作用、以及如何将表层的大模型与手机背后那些应用做更深入的打通。
而在手机市场出现创新瓶颈、各家卯足劲冲决战高端市场的现在,这些苦功夫是值得的,手机厂商们也都愿意花钱一试。
36氪旗下AI公众号
真诚推荐你关注
来个“分享、点赞、在看”👇
大模型如何塞进手机?
微信扫码关注该文公众号作者