logo
Redian新闻
>公众号
>
苹果加入开源大战，官宣端侧小模型OpenELM！参数2.7亿到30亿一台M2 Mac可跑

苹果加入开源大战，官宣端侧小模型OpenELM！参数2.7亿到30亿一台M2 Mac可跑

公众号新闻


  新智元报道  

编辑：桃子
【新智元导读】开源战在这半个月愈演愈烈。先是Llama 3，又到微软Phi-3，再到今天苹果发布的OpenELM。四种不同小参数版本全部上线，我们离iPhone装进大模型不远了。

从Llama 3到Phi-3，蹭着开源热乎劲儿，苹果也来搞事情了。
今天，苹果团队发布了OpenELM，包含了2.7亿、4.5亿、11亿和30亿四个参数版本。
与微软刚刚开源的Phi-3相同，OpenELM是一款专为终端设备而设计的小模型。

论文地址：https://arxiv.org/abs/2404.14619
论文称，OpenELM使用了「分层缩放」策略，来有效分配Transformer模型每一层参数，从而提升准确率。
如下这张图，一目了然。
在约10亿参数规模下，OpenELM与OLMo相比，准确率提高了2.36%，同时需要的预训练token减少了2倍。
抱抱脸创始人表示，苹果加入了AI开源大战，一口气在HF中心发布了四款模型。

OpenELM有多强？

OpenELM的诞生，显然瞄准了谷歌、三星、微软这类的竞争对手。
近几天，微软开源的Phi-3，在AI社区引起了不小的反响。
因为，小模型的运行成本更低，而且针对手机和笔记本电脑等设备进行了优化。
根据论文介绍，苹果这款模型不仅能在笔记本（配备英特尔i9-13900KF CPU、RTX 4090 GPU，24GB内存），还可以在M2 MacBook Pro（64GiB内存）运行。
而OpenELM具体性能表现如何？
在零样本和少样本设置中，OpenELM的结果如下图表3所示。
通过与开源的大模型比较，OpenELM的变体比12亿参数OLMo的准确率提高了1.28%（表4a）、2.36%（表4b）和 1.72%（表4c）。
值得注意的是，OpenELM使用了OLMo少2倍的预训练数据的情况下，达到了这一水平。
再来看模型指令微调的结果。
如下表5所示，在不同的评估框架中，指令微调都能将OpenELM的平均准确率提高1-2%。
表6展示了参数高效微调的结果。PEFT方法可以应用于OpenELM，LoRA和DoRA在给定的CommonSense推理数据集中，提供了相似的平均准确度。
下表7a和7b分别显示了GPU和MacBook Pro上的基准测试结果。
尽管OpenELM对于相似的参数数量具有更高的精度，但研究人员观察到OpenELM要比OLMo慢。
虽然本研究的主要重点是可重复性而非推理性能，但研究人员还是进行了全面分析，以了解瓶颈所在。
分析结果表明，OpenELM处理时间的很大一部分，归因于研究者对RMSNorm的简单实现。
具体来说，简单的RMSNorm实现会导致许多单独的内核启动，每个内核处理一个小输入，而不是像LayerNorm那样启动一个融合的内核。
用Apex的RMSNorm替换简单的RMSNorm，结果发现OpenELM的吞吐量有了显著提高。
然而，与使用优化LayerNorm的模型相比，性能差距仍然很大，部分原因是：
（1）OpenELM有113个RMSNorm层，而OLMo只有33个LayerNorm层；
（2）Apex的RMSNorm没有针对小输入进行优化。

作者贡献

有趣的是，论文最后一部分还列出了每位作者，在这项研究中的具体贡献。
从预训练数据收集和工具、架构设计、模型训练，到评估套件和工具、HF集成、指令微调、参数高效微调，再到性能分析和MLX转换、代码审查，bug修改和维护全程都分工明确。
具体每人参与的内容，如下图所示。
参考资料：
https://arxiv.org/abs/2404.14619




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章
相关阅读
周鸿祎向李彦宏“开炮”：有些名人胡说八道别被忽悠了；全球最强开源大模型Llama 3发布：最大模型参数将超4000亿丨AI周报全球顶尖AI研究者中国贡献26%；1320亿参数大模型开源；Anthropic大模型测评首超GPT-4丨AIGC大事日报GPT-4现场被端侧小模型“暴打”，商汤日日新5.0：全面对标GPT-4 Turbo开源大模型王座再易主，通义千问1100亿参数拿下SOTA，3个月已推出8款模型有多少学子遭到中共的残酷迫害？小模型时代来了？微软最小参数AI模型发布，性能逼近 GPT-3.5开源大模型王座再易主，1320亿参数DBRX上线，基础、微调模型都有卷疯了！最强开源大模型Llama 3发布，最大参数4000亿，小扎内心：大模型比元宇宙香多了最强开源大模型 Llama 3震撼发布！开源模型将追上GPT-4，4000亿参数模型也在路上宗庆后他是好人；离婚了，就别再来找我；情感躺平，情感摆烂。苹果开源大模型OpenELM来了，或将用在下一代iPhone上；红杉入局，传马斯克AI公司将获60亿美元投资丨AI周报开放开源！蚂蚁集团浙江大学联合发布开源大模型知识抽取框架OneKE马斯克打脸OpenAI，全球最大巨无霸模型Grok-1开源！3140亿参数8个MoE，GitHub狂揽6k星端侧 AI 新篇章！商汤科技发布「速度最快」的端侧模型苹果加紧与OpenAI谈判，在iOS18加入AI功能/小米高管否认雷军被李想锁车里/「中国版Sora」发布苹果加紧与 OpenAI 的谈判/小米高管辟谣雷军被李想锁车里/微信文件3小时内可撤回马斯克正式开源 Grok-1，成为全球最大的开源大模型开源大模型火了！(附99个大模型微调模型/数据/工具)!英伟达最强通用大模型Nemotron-4登场！15B击败62B，目标单张A100/H100可跑马斯克发全球最大开源模型！3140亿参数的Grok真打脸OpenAI了？小模型时代来了？微软推出其最小参数 AI 模型，性能逼近 GPT-3.5两轮游中国 - 我的所见，所闻和所想 阳光明媚的贵阳国内首个开源千亿参数MoE大模型来了！性能超Grok-1，单张GPU可跑AI早知道｜马斯克Grok大模型开源；荣耀正式发布首款AI PC；苹果谷歌和OpenAI商谈iPhone大模型使用开源大模型Llama 3王者归来！最大底牌4000亿参数，性能直逼GPT-4马斯克加入了开源大模型阵营＂蝙蝠侠＂空中加油 - 美军力倍增红杉资本入局，马斯克的AI公司接近达成60亿美元融资；苹果发布基于开源训练和推理框架的语言模型OpenELM丨AIGC日报苹果开源了！首次公开手机端侧大模型，AI iPhone 的细节就藏在里面AI早知道｜支付宝灰度测试智能助理；苹果开源推出高效语言模型系列 OpenELM苹果发高效语言模型 OpenELM；小米策划 15 万元新车；AI 成功改写人类 DNA | 极客早知道元宵节古都西安叹开箱黑盒LLM！谷歌大一统框架Patchscopes实战教程来了最强开源大模型Llama 3来了！4000亿参数狙击GPT-4，训练数据达Llama 2七倍苹果一次性开源了8个大模型！ 包含模型权重、训练日志和设置，OpenELM全面开源
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。