Redian新闻
>
2B小钢炮碾压Mistral-7B,旗舰级端侧模型炸场开年黑马!1080Ti可训,170万tokens成本仅1元

2B小钢炮碾压Mistral-7B,旗舰级端侧模型炸场开年黑马!1080Ti可训,170万tokens成本仅1元

科技



  新智元报道  

编辑:编辑部
【新智元导读】2B性能小钢炮来了!刚刚,面壁智能重磅开源了旗舰级端侧多模态模型MiniCPM,2B就能赶超Mistral-7B,还能越级比肩Llama2-13B。成本更是低到炸裂,170万tokens成本仅为1元!

最强旗舰端侧模型,重磅诞生!
就在刚刚,坐落在「宇宙中心」的面壁智能,重磅发布2B旗舰端侧大模型MiniCPM,并全面开源。

「用最小的规模,做最强的AI」
小参数规模的端侧大模型,如今已经成为微软谷歌Mistral等众多AI科技公司看好的一大方向,因为大模型时代正大呼Al Native。
可以说,在大模型时代,能在端侧运行的大模型,是众望所归。
而未来无处不在的智能体(Agent),也需要通过能耗比优异的端侧大模型,才能更好地落地开花。

以小博大,超强端侧大模型诞生

今天发布的MiniCPM不仅是端侧模型,更是旗舰模型!
首先就是性能上展现的旗舰——以小博大。
提到以小博大最好的标杆,必然是2023年在AI开源社区大火、被公认为「开源模型新王者」的Mistral-7B。
仅用2B的规模,以及1T tokens的精选数据,MiniCPM就在多项主流评测榜单上,全面地超越了Mistral-7B。
跟微软发布的Phi-2相比,MiniCPM在中文能力上具有极大的优势。
甚至,MiniCPM还可以跟20B、40B、50B的一些模型「掰手腕」。
在英文榜单的平均分上,它的得分超越了Llama2-13B、Falcon-40B。
在HumanEval、MBPP等代表了代码、逻辑能力的榜单上,MiniCPM都表现亮眼。
此外,在最接近用户体感的MT-Bentch上,MiniCPM也取得了很好的成绩。
这次,MiniCPM也是首次把多模态的能力,集成到了端侧模型中,并在手机上付诸实施。
多模态性能同体量下没有对手,所以只能越级PK。
在多模态基准测试中,2.8B规模的MiniCPM-V展现出了3倍于它体量的模型能力。
总之,MiniCPM是无愧于「性能小钢炮」这个称号!

全能旗舰,能说会看

MiniCPM模型究竟有多强,还得看看它具体实力如何。

语言能力

它可以把中英语言夹杂的句子,翻译成法语。
它还有丰富的知识库,能够准确答出山东最高山的名字,甚至还知道它和黄山的准确海拔,并计算出差值。
另外,角色扮演也难不倒MiniCPM。
它凭借一张好嘴,同意模仿《水浒传》中李逵的语气,仅用三句话便能让宋江乖乖掏出18万。
当然了,爱的甜言蜜语配上emoji,或者各种配表情的文案,它都能够拿捏。

自己写自己的代码

虽然模型参数不多,但写代码的能力还挺强。
比如,MiniCPM能够写出一串「复刻」自己要素齐全的代码。
当然了,这距离完整复现MiniCPM的代码还很遥远。

人生要有PlanB:野外生存直接开挂

为什么要把多模态能力集中到端侧上?自然是因为有这个需求。
端侧多模态模型一个很现实的使用场景就是,当手机断网时,它依然能够全天候为人服务。
在野外生存当手机没信号时,MiniCPM就能成为你的「野外生存锦囊」。
在发布会现场,团队也进行了一波端侧模型的性能演示。
首先把手机调飞行模式,然后向MiniCPM求助:野外迷路了怎么办?
当你看到一个奇怪的蘑菇时,便可求助MiniCPM,它也许就能救你一命。
打开帐篷,突然看到一条蛇怎么办?MiniCPM告诉你:有毒,走为上计!
如果不小心被咬了,必须尽快就医!

CPU搞定推理,1080Ti玩转训练微调

成本,就是大模型的隐形竞争力。
面壁智能在做商业化实践的时候,发现客户都十分关注应用模型的成本。
虽然千亿模型效果很好,但真正大规模去部署时,成本会是一个绕不开的巨大障碍。
而MiniCPM很好地解决了这个障碍,让模型的推理成本实现断崖式的下降。
在提供非常强劲的模型的同时,还能支持CPU推理,是实打实的「省钱大模型」。
其中,MiniCPM的int 4量化版本,在性能几乎无损的情况下压缩了75%的尺寸,大大降低了模型对于内存和闪存的需求。
以搭载骁龙855芯片的手机为例,处理170万tokens的成本仅为1块钱,几乎只有在云端运行的Mistral-Medium的1%。
除了端侧推理的成本非常低,MiniCPM持续改进的成本也控制也异常得好。
一台电脑、一张普通的消费级显卡就能完成SFT,彻底拯救算力焦虑。
进行Int4量化后,MiniCPM只占2GB空间,具备了在端侧手机进行模型部署的条件。
对此,团队在Android和Harmony系统上使用开源框架MLC-LLM进行模型适配,在iPhone系统上使用开源框架LLMFarm进行模型适配,并分别选取了部分端侧手机设备进行了测试。
从结果来看,MiniCPM已经跑通了国际主流的手机品牌和终端CPU芯片,即使是老手机运行起来也毫无压力。

复刻Gemini演示,全程无剪辑


此次,除了MiniCPM旗舰模型外,面壁智能还开源了12B参数量的多模态大模型OmniLMM。
就拿Gemini发布当时演示「猜丁壳」的案例,OmniLMM在此的表现毫不逊色。
一只手拍摄视频,一只手做演示,然后用英文问它:我正在玩什么游戏?
它会回答:石头剪子布。它不仅能认出你出的是什么手势,还能告诉你如果要赢应该出什么。
这个过程中,OmniLMM表现出了多重能力:实时动作识别,理解玩游戏的取胜策略,还可以通过语音识别工具理解用户问题。

方法说明:使用OmniLMM 12B将视频帧转换成文本描述,再基于纯文本ChatGPT3.5根据文本描述和用户提问回答问题
就像之前GPT-4的演示一样,OmniLMM能够识别出图片中笑点在哪里。
这只宠物狗的自拍为啥好笑?当然是因为它一幅「人模狗样」。
而GPT-4V的解释,似乎有些牵强,讲的是狗的表情很严肃,而人和狗的结合很搞笑,没有强调出狗会自拍这个元素。
这张图片看起来很幽默,因为它显示的是一只狗与人的身体,狗站起来靠在门框上。这是一张经过数字处理或 「Photoshop 」的图片,将狗的头部与身穿蓝色T恤和黑色短裤的人的身体结合在一起。
狗与人身体的不协调,再加上狗严肃的面部表情,使这幅图像变得滑稽可笑。它利用了荒诞和出人意料的情境,而这正是幽默的常见来源。
对于视错觉的图片,OmniLMM也能准确看出其中的真相!
图中有两个人,一个人坐在椅子上,另一个人走在路上。
相比之下,GPT-4V并没有看出其实图中是两个人,完全败下阵来。
照片中可以看到一个人。这是一个从后面看到的坐在长凳上的男人。他身穿绿色条纹衬衫和深色裤子,旁边长凳的一侧披着一条蓝色毛巾或布。
他还戴着口罩,这表明照片可能是在戴口罩在公共场合很常见的时期拍摄的。照片画面中看不到其他人。
通过图片中的细节,OmniLMM还能推理出很多真实世界中的信息。
照片拍摄的是中国北京故宫宁静的冬景。故宫是联合国教科文组织世界文化遗产,巍然屹立在背景中,红色的墙壁和屋顶与阴霾的天空形成鲜明对比。地面上覆盖着一层白雪,为画面增添了一丝宁静。
前景中,一群人正走向紫禁城,寒冷的空气中,他们的呼吸清晰可见。其中,有一个人正在用手机捕捉这一刻,或许是为了珍藏记忆,或许是为了与亲朋好友分享。
画面从低角度仰望故宫,突出了故宫的宏伟和历史意义。这一视角还能清晰地看到前景中的人物,使场景更具规模感和纵深感。
图片上有「CCTV 2 」和「CCTV.COM 」的水印,表明很可能是由中国中央电视台拍摄的。水印还表明,该图像可能是新闻报道或纪录片的一部分。
而GPT-4V对于中国场景的了解确实还是不如我们国产模型,没有识别出故宫,但是看出了CCTV-2,整体上两边解释的程度区别不大。
对于没有文字说明的图片,OmniLMM甚至可以根据服装,亦或者墨镜和导盲杖等小细节精准推断出图片表达的含义,充分展现了其「会看会思考」的综合能力。
画面中,一名女士和她的狗正在穿过城市街道上的人行横道。这名身穿条纹衬衫和蓝色牛仔裤,右手拿着一根白色手杖。她的爱犬是一只棕褐色的拉布拉多犬,拴着皮带,戴着黑色安全带。她们都在向画面右侧移动。
她们穿过的人行横道上有白色条纹,位于一栋灰色建筑前。街道两旁绿树成荫,为城市环境增添了一丝自然气息。艳阳高照,投射出温暖的光辉。
画面捕捉了这位和她的爱犬在城市中相伴前行的瞬间。女人使用的拐杖表明她可能有视力障碍,而狗的背带表明它受过训练,可以帮助她。他们穿过人行横道的旅程见证了他们的团队合作和共同的纽带。

以小博大,实力在哪?

端侧模型的发展,已经半年多了。去年七月开始,很多厂商都入局了端侧大模型。
面壁智能这一系列在大模型上取得的突破,都来源于他们强大的团队和多年的技术积累。
2021年,面壁智能就构建了高效的技术优势,集中在Infra、算法和数据方法论这三个方向中。

算力+算法+数据
可以说,Infra能力是大模型创业的护城河,因为Infra会决定公司的技术上限。
没有好的Infra,很容易遇到模型调优的天花板。想做更深入的工作时,往往会受到Infra的限制。
而面壁智能在21年就已经开发出了BMtrain分布式训练框架,在Infra上有了很长时间的沉淀。
在算法层面,面壁智能积攒了「模型沙盒」技术。
三年实践中总结出的这个模型方法论,让大模型炼丹变成了实验科学。
他们找到了各个尺寸模型训练的超参和训练过程的最优解。
在发布MiniCPM之前,研究者做了上千次模型沙盒实验,探索出了一系列业界最优配置。
比如全新提出的WSD学习率优化器,可以在任何阶段退火,取得该阶段最优的模型。而之前的Cosine LRS方法,却无法实现,因为持续训练的情况下不是最优的。
同时,通过在MiniCPM上验证6种参数模型,可以预测到参数规模越小,Loss值便会增大。MiniCPM的最终C4 Loss为2.41,接近于9B的Chinchilla Optimal模型。
此外,面壁也积累了大量的高质量数据。
MiniCPM的训练十分高效,只用了高质量数据集中1T的tokens,当然,都是来自于模型训练方法论指导筛选出来的数据。
1T tokens超越Mistral-7B,就是这么来的。
为了促进行业发展,面壁智能开源了两个阶段的数据配方。
1. 稳定训练阶段
在此阶段,使用1T的去重后的数据,其中大部分数据从开源数据中收集来,比例如下图。
研究团队使用了模型沙盒实验中探索出的最优配置,WSD LRS,batchsize为3.93M,Max Learning Rate为0.01。
2. 退火阶段
在此阶段,SFT数据配比如下:
在263000步(约1T数据)时,开始进行退火,退火过程也变现出了损失函数急剧下降的现象,同时在各种任务数据、SFT数据上的Loss也有显著下降。

整个训练过程中,C4训练集上Loss

「宇宙中心」大模型+ Agent早期实践者

在2023大模型元年里,五道口大模型Vally纷纷汇聚了百川智能、面壁智能、智谱华章等中国主流大模型创业公司,以及智源研究院这样杰出的研究机构。
若说其中,最早开始大模型+ Agent的研究者,便是面壁智能了。
成立于2022年8月,这家初创公司的创始团队来自于清华计算机系,这样的强大背景就注定了它将来的不凡。

谁能想到,这家公司才刚满1岁

明星团队,「双CP」领军组合

据介绍,面壁智能团队有100+人的明星科研团队,而且是80%清北含量,平均年龄28岁。
其中一位带头人——刘知远是深度学习、BERT、大模型、Agent四次重要技术方向的推动者,沉淀积累了大量的经验。在四次变革中,他都找对了方向,让面壁智能能始终引领热点。
他曾在2018年帮助推动清华NLP实验室研究路线转型,并推出了全球首个知识指导的预训练模型ERNIE。
刘知远与另一位联合创始人李大海、CTO曾国洋、首席研究员韩旭并称为「双CP」领军组合。
其中曾国洋还是悟道中文预训练模型团队骨干成员,2020年12月发布全球第一个20亿中文开源大模型CPM。
2022年4月,清华NLP实验室联手智源发起开源社区OpenBMB。
成立1年以来,面壁智能连续发布了多款模型,如CPM-Bee、CPM-Cricket,智能对话助手面壁露卡,以及在2023下半年密集发布了Agent产品,全都体现了这家公司厚和广的基础积累。
从Mistral AI的成功,我们能看到,一家能在AI赛道上做出有影响力产品的初创公司,团队一定以科学家为主,研究能力强,且技术栈全面,互补的。
而现在,面壁智能也形成了全面的产品线,包括大模型C系、O系、Mini系,Agent宇宙,高效Infra。

One More Thing

春节假期马上就到了,过年嗑瓜子,不如嗑「CP神器」——心间。
在这个App上,不光有李白杜甫、清华北大的CP,或许,你还可以找到平行宇宙的ta。
参考资料:
https://github.com/OpenBMB/MiniCPM
https://github.com/OpenBMB/OmniLMM



微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
开源模型新纪录:超越Mixtral 8x7B Instruct的模型来了老黄祭出新核弹B200!30倍H100单机可训15个GPT-4模型,AI迎新摩尔时代首个国产开源MoE大模型来了!性能媲美Llama 2-7B,计算量降低60%无注意力大模型Eagle7B:基于RWKV,推理成本降低10-100 倍AI鲜测 | Claude 3全面升级:多模态+100万Token上下文长度,OpenAI也拦不住了真我 GT5 Pro 体验:起售价 3298 元,主摄级高质量长焦,一台性能也是旗舰级的拍照手机清华系2B模型杀出,性能吊打LLaMA-13B,170万tokens仅需1块钱!英伟达最强通用大模型Nemotron-4登场!15B击败62B,目标单张A100/H100可跑外企社招丨Dräger德尔格,行业全球领导者,15薪,六险一金,多样福利,偏爱留学生Hyena成下一代Transformer?StripedHyena-7B开源:最高128k输入,训练速度提升50%《歌德堡变奏曲1503》真我12 Pro系列官宣:配备旗舰级潜望长焦镜头《伪君子基辛格》更新了6款4070Ti、4080配置,高颜值游戏主机RAG+GPT-4 Turbo让模型性能飙升!更长上下文不是终局,「大海捞针」实验成本仅4%骁龙最强AI芯能力下放:小旗舰8s发布,端侧运行10B大模型,小米Civi首发32K上下文,Mistral 7B v0.2 基模型突然开源了年轻人的第一个多模态大模型:1080Ti轻松运行,已开源在线可玩i7-12700KF,4070S、7700XT、4060、4070Ti S游戏主机无中介费|随时入住|Allston高级公寓个人转租|主卧带独卫,限女生 ,2b2b,拎包入住,租金1500美国大学Quant专业最新排名:哥大碾压MIT,第一竟是大冷门?国产冲锋衣真是服装界的开年黑马,又酷又飒的山系风穿搭才是时尚界的宠儿!1元=1700000tokens!清华系发布国产Mistral仅2B,老手机都带得动,GitHub一天斩获300+星周末随笔大模型「瘦身」进手机,面壁智能发布性能小钢炮 MiniCPM专访面壁曾国洋:踩过 1000 次大模型的坑后 ,造一个性能小钢炮纯加法Transformer!结合脉冲神经网络和Transformer的脉冲Transformer | NeurIPS 2023百万token上下文窗口也杀不死向量数据库?CPU笑了人生若只如初见(十一)work & pray only matter.president John Quincy Adams left to年轻人的第一个多模大模型:1080Ti轻松运行,已开源在线可玩别等OpenAI了,全球首个类Sora抢先开源!所有训练细节/模型权重全公开,成本仅1万美元旗舰级质感!一加 Ace 3V 即刻开箱,看看实力2B参数性能超Mistral-7B:面壁智能多模态端侧模型开源清华系又造大模型标杆!2B规模干翻Mistral-7B,超低成本为AI Agent护航
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。