路径“另类”，苹果大模型蓄势待发

2024-01-12 09:01

近期，苹果悄悄放出一条不起眼的消息：其研发部门发布了一篇题为《闪存中的大型语言模型：在有限内存下高效的大型语言模型推理》的论文。冗长的标题下，掩藏着大模型落地端侧的技术亮点。业内人士纷纷猜测：在“AIGC元年”里始终保持着沉默的苹果，是否终于要在大模型领域出手了？

“浮出水面”？

近年来，在新技术方面的“后发先至”已经成为了苹果身上的独特标签：不是行业首发，却能凭借更加优越的技术能力、设计理念与生态体系重新定义产品甚至整个产业生态。这一特质早在iPhone、Macbook等系列产品上就有所显现，去年6月发布的MR头显初次进入人们视野之时，更被认为是苹果“后发制人”的高光时刻。

基于此，虽然苹果始终对百舸争流的大模型保持缄默，业内却认为苹果在暗自“憋大招”。多位业内专家对《中国电子报》记者表示，在大模型领域，苹果手握“门票”却迟迟没有“入场”，或许也是其“后发制人”风格的延续。

这也解释了为何苹果在大模型方面的任何风吹草动，都格外引人注目。去年7月，首次传出苹果暗中测试大模型工具“Ajax”，并推出代号为“Apple GPT”的内部聊天机器人的消息。人们纷纷猜测，“Apple GPT”将为苹果的人工智能助手Siri带来革命性的升级。然而，这一猜测迄今尚未成为现实，“Apple GPT”最广为大众接受的解释落定为“工作人员在开发层面开始使用能够适配苹果系统的人工智能工具”。

去年11月，踏着“AIGC元年”的尾声，苹果悄然推出一款名为Ferret的开源多模态大语言模型。据了解，这款大模型拥有70亿和130亿两个参数版本，从测试结果上看，其图像处理技术走在行业前列。然而，这款大模型由于仅面向研究机构开放，最终并没有走入大众视野。

苹果发布Ferret大模型，图像处理能力优越

去年12月，随着上述论文的发布，“苹果大模型”再次被推上风口浪尖。略过晦涩的文字表述和复杂的技术原理，论文的结论是：大参数模型，终于有望在“内存有限”的端侧设备中落地了。

另辟蹊径

大语言模型要实现普及，落地智能手机是一条必经之路。当下，荣耀、vivo、OPPO、小米、华为等智能手机厂商纷纷推出“大模型手机”，大模型在手机终端的适配与落地已成大势所趋。

vivo在发布会上宣布其新款智能手机将搭载自研大模型

然而，训练参数大、体量庞大、难以部署在端侧离线使用，是大模型“走入用户掌心”的一大难题。记者了解到，在当下主流智能手机市场，16GB运存是较为广泛的终端配置，这样的运存处理手机日常运行绰绰有余，但要实现模型的加载与数据分析，就显得捉襟见肘。

为此，谷歌、Meta、微软等头部企业均选择了“让模型适应终端”的路线，纷纷推出了训练参数更少、体量更小的“小模型”。以微软为例，去年12月，微软正式发布了参数规模仅有27亿的“小模型”Phi-2，并宣称该模型性能够“吊打”体量在其25倍以上的大模型。

微软CEO Satya Nadella在微软Ignite 2023现场发布Phi-2

而面对着这条“卷起来”的“小模型”之路，苹果却另辟蹊径，首次提出利用闪存技术创新来突破大模型端侧部署的难点的概念。苹果发布的论文指出，利用其创新的闪存技术，可以让模型的运行规模达到 iPhone 可用内存的两倍。在该技术的加持之下，大模型的推理速度在 Apple M1 Max CPU 上提高了 4-5 倍，在 GPU 上提高了 20-25 倍。“这一突破对于在资源有限的环境中部署先进的大语言模型至关重要，极大地扩展了它们的适用性和可访问性。”研究人员写道。

具体而言，论文中提到了两种关键技术：一是“窗口化”技术，允许模型重复使用部分已处理的数据，从而减少频繁读取内存的需要，提高大模型运行效率；二是“行-列捆绑”技术，通过对数据进行更有效的分组，令大模型能够更快地从闪存中读取数据，从而加速AI 理解和生成语言的能力。

图解两项核心技术

从论文内容看，大模型在端侧的部署难题似乎可以迎刃而解。但也有业内专家指出，闪存技术仍有“漏洞”，离实际应用尚有距离。专家表示，闪存技术可用的核心假设是大模型所处理的相邻数据前后具有相似性，但论文中苹果并未对这一必要条件展开论证。闪存技术能否成为大模型端侧部署的“转折点”，还有待验证。

蓄势待发

苹果公司CEO库克曾说过：“苹果有计划在更多产品中加入AI，但要‘深思熟虑’”。

过去一年，苹果虽未对“AI”大书特书，但却处处可见AI的影子。在2023苹果全球开发者大会上，库克始终强调ML（机器学习）概念，称无论是硬件领域还是软件领域，苹果都早已为ML做足了准备。一方面，苹果最新推出的M2 Ultra芯片可以负担大规模ML的性能需求，在某些场景和需求下甚至可以部分替代独立图形处理器；另一方面，从系统到软件，苹果将ML的应用重点放在提升用户体验上。比如iOS17输入法方面的更新，其本质就是大语言模型的应用。

苹果M2 Ultra芯片宣传图

在技术层面的准备之外，苹果在内容方面也逐渐开始了动作。去年12月，有消息传出，苹果正就“价值至少5000万美元的多年期合作协议”展开讨论，并与康泰纳仕、NBC新闻和IAC等媒体接洽，获取他们过往新闻文章的使用授权，以作大模型训练之用。相比同期微软、OpenAI被纽约时报因版权原因起诉的尴尬，苹果的这笔“版权投资”更显示了其在内容生成领域的计划性。

硬件准备方面，香港海通国际证券分析师Jeff Pu发布报告称， 2023年苹果可能已经建造了几百台AI服务器，而这个数量在2024年还将显著增加。他还指出，苹果计划最早于2024年末在iPhone和iPad上采用生成式AI技术。这意味着，如果该计划得以实现，用户有望在于2024年末发售的下一代的iPhone和iPad上亲身体验苹果大模型。

延伸阅读：

2023年我国“新三样”出口首次突破万亿元大关，同比增长29.9%

我国首次！星间激光超高速高分辨遥感影像传输成功

作者丨张琪玮

编辑丨赵晨

美编丨马利亚

监制丨连晓东

点个“在看”不失联

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章