Redian新闻
>
爆打多模态王者 GPT-4V、Gemini Pro!这个小小端侧模型杀疯了!

爆打多模态王者 GPT-4V、Gemini Pro!这个小小端侧模型杀疯了!

公众号新闻

夕小瑶科技说 分享
多模态王者 GPT-4V、Gemini Pro ,竟然被一个端侧模型打爆了!而且这个模型还凭强劲实力拿下了全球最强端侧多模态模型王座!

有图有真相。比如输入一张充满繁密字迹的《三体》主体的建筑图, GPT-4V 压根答不上来。

但这个端侧模型却能一眼道破,甚至还能推理出该建筑对《三体》的纪念意义:

或许你会觉得要达到力压 GPT-4V 的效果,这个模型肯定得上千亿参数起步;

但如果我告诉你这个端侧模型只有8B参数,你敢信吗?笔者我最开始打死也是不信的,毕竟 GPT-4V 据说可是有几千上万亿参数。

然而事实摆在眼前,我却不得不信。

那么这背后究竟是什么模型?又是如何做到的呢?

不卖关子了,这背后就是由国内大模型研发头部公司面壁智能最新打造的最强端侧多模态模型——MiniCPM-Llama3-V 2.5。

据说内部叫做小钢炮 520 特别版,是送给开源社区的一份情人节礼物 🎁 

啧啧啧,这浪漫的简直不像个科技公司。MiniCPM-Llama3-V 2.5的厉害之处在于,它不仅是最强端侧多模态模型,而且支持30多种语言,此外,它还同时具备:

  • 最强端侧多模态综合性能:超越多模态巨无霸 Gemini Pro 、GPT-4V;
  • OCR 能力 SOTA!9 倍像素更清晰,难图长图长文本精准识别;
  • 图像编码快 150 倍!首次端侧系统级多模态加速;
    芜湖,简直强到起飞!!!

此外,作为全球「以小博大」著称的MiniCPM 旗舰端侧模型,正在不断推新端侧多模态能力天花板,可以说 MiniCPM-Llama3-V 2.5 用实力证明了——模型不是只有“参数越大才能性能越好”,而是可以用最小参数撬动最强性能 !!!

随着大模型参数愈益降低、端侧算力愈益增强,高性能端侧模型势头强劲。而手机、PC等智能终端设备因其高频的影像视觉处理需求,对在端侧部署AI模型提出了更高的多模态识别与推理能力要求。

从面壁「小钢炮」系列模型三个月、三级跳的迅猛进化来看,推理成本大大降低、大模型高效落地的那一天,不会太久到来!

➤ MiniCPM-Llama3-V 2.5开源地址:

https://github.com/OpenBMB/MiniCPM-V 

➤  MiniCPM 系列开源地址:

https://github.com/OpenBMB/MiniCPM 

➤  Hugging Face 下载地址:

https://huggingface.co/openbmb/MiniCPM-Llama3-V-2_5

OCR 能力SOTA + 最强端侧多模态
8B 端侧模型,超越 GPT-4V, Gemini Pro

这一次,MiniCPM-Llama3-V 2.5 以 8B 端侧模型参数量级,贡献了惊艳的  OCR(光学字符识别)SOTA 成绩,以及端侧模型中的最佳多模态综合成绩与幻觉能力水平。


▲模型雷达图,MiniCPM-Llama3-V 2.5 综合能力水平全面优秀

在综合评测权威平台 OpenCompass 上,MiniCPM-Llama3-V 2.5 以小博大,综合性能超越多模态巨无霸 GPT-4V 和 Gemini Pro。

OCR(光学字符识别)是多模态大模型最重要的能力之一,也是考察多模态识别与推理能力的硬核指标。新一代 MiniCPM-Llama3-V 2.5  在 OCR 综合能⼒权威榜单 OCRBench 上,越级超越了 Claude 3V Opus、Gemini Pro 等标杆模型,实现了性能SOTA。

在评估多模态大模型性能可靠性的重要指标——幻觉能力上,MiniCPM-Llama3-V 2.5 在Object HalBench 榜单上超越了 GPT-4V 等众多模型(注:目标幻觉率应为0)。

在旨在评估多模态模型的基本现实世界空间理解能力的 RealWorldQA 榜单上,MiniCPM-Llama3-V 2.5 再次超越 GPT-4v 和 Gemini Pro,这对8B模型而言难能可贵。

快 150 倍!首次端侧系统级多模态加速
支持 30+ 多语言,拥抱世界开源社区

首次进行端侧系统加速,MiniCPM-Llama3-V 2.5 已高效部署手机。

在图像编码方面,面壁首次整合 NPU 和 CPU 加速框架,并结合显存管理、编译优化技术,在 MiniCPM-Llama3-V 2.5 图像编码方面实现了 150 倍加速提升。

在语言模型推理方面,目前开源社区的报告结果中,Llama 3 语言模型在手机端侧的解码速度在 0.5 token/s 上下,相比之下,多模态大模型的端侧运行面临着更大的效率挑战,经过 CPU、编译优化、显存管理等优化方式,我们将 MiniCPM-Llama3-V 2.5 在手机端的语言解码速度提升到 3-4 token/s。

目前,语言模型的图像编码加速也在进行中,更灵敏互动体验即将到来。

此处 GIF 为 2 倍速,面壁正进一步加速优化中

有别于常见的中英双语模型,MiniCPM-Llama3-V2.5 可支持30+多种语言包括德语、法语、西班牙语、意大利语、俄语等主流语言,基本覆盖一带一路国家。

基于自研的跨语言泛化技术,仅通过少量翻译的多模态数据的指令微调,就可对多语言多模态对话性能高效泛化。现在,上百个国家的几十亿人口,终于可以自如使用母语和端侧大模型交流,不再游离于前沿科技发展的主线,也因此享有更多AI应用落地、生活品质提升与参与科技角逐的可能性。真正让更多人享受大模型的乐趣!

多语言案例展示(语言加速工作正在进行,此处为2倍速)
▲多语言版本 LLaVABench 评测结果,MiniCPM-Llama3-V 2.5 对话能力更胜一筹;

9倍像素更清晰 难图长图长文本精准识别

OCR 技术进一步打磨复杂推理与多模态识别能力再进化,MiniCPM-Llama3-V 2.5 对于难图、长图、长文本的精准识别再度带来出众表现!

面壁自研高清图像高效编码技术,我们可以高效编码及无损识别180 万高清像素图片,并且支持任意长宽比、甚至「有点变态」的 1:9 极限比例图像,突破了传统技术仅能识别 20 万像素小图的瓶颈。此前,MiniCPM-V 系列多模态模型就因对于街景、长图等困难场景的高效解析,赢得了良好口碑。

技术升级, MiniCPM-Llama3-V 2.5 在复杂推理能力上进一步突破。可更好地深入洞察图像,在更复杂、更接近人类的水平上进行思考和解决问题,堪称大模型中的“小福尔摩斯”。

复杂推理能力使得模型不仅能理解单一文本或图像等模态信息,还能跨越不同模态间的综合信息,做出更准确和深入的分析。

另外,识别包含复杂逻辑的流程图是多模态模型推理能力的直观体现,MiniCPM-Llama3-V 2.5 不仅能够轻松看懂流程图中不同模块的文字、箭头之间的空间位置和复杂逻辑关系 ,还能给出清晰易懂的解释说明。

给妈妈转发一张亚洲饮食金字塔图,但她读不懂英文?MiniCPM-Llama3-V 2.5 凭借出色的推理能力,不仅深入理解分析图像里的饮食类型和分布,还能洞察背后的营养均衡需求,进行智能化搭配组合,直接一次性用中文推荐出满满一周的三餐食谱。

文OCR能力方面,结构化信息提取能力的提升,对于长图长文本的精准识别大有帮助。例如输入一张包含稠密信息的长文长图,MiniCPM-Llama3-V 2.5 一字不差地识别出了全文。

再给一张要翻阅好几屏的图文复杂交错的长图难图长文本,MiniCPM-Llama3-V 2.5 也能精准给出正确的回答。

再输入一张手机拍摄的火车票,MiniCPM-Llama3-V 2.5 也能准确提取信息,给出无误的"json"格式输出。

最后,面壁是开源社区的热心贡献者,也是受益者。

本次 MiniCPM-Llama3-V 2.5的飞跃表现依托于面壁团队对多模态技术的创新打磨,更离不开 Llama3-8B-Instruct 作为基座模型的性能基础。感谢世界优秀同行的卓越工作,令我们站在彼此的肩膀上,伸手摘星,指向更高、更璀璨的科学无垠之处。

我们也将持续回报社区,开源更多优秀模型、数据、infra工具等,将开源开放的星火播撒世界协作创新之苍穹。

➤ MiniCPM-Llama3-V 2.5开源地址:
https://github.com/OpenBMB/MiniCPM-V
➤  MiniCPM 系列开源地址:
https://github.com/OpenBMB/MiniCPM
➤  Hugging Face 下载地址:
https://huggingface.co/openbmb/MiniCPM-Llama3-V-2_5

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
我的手机是iPhone 15 Pro Max,电脑是MacBook Pro M3 Max。手表是apple watch。浪漫才子与“花间”圣手CVPR 2024 | 多模态合作学习的新视角:样本级模态的评估与协同国产多模态大模型狂飙!颜水成挂帅开源Vitron,破解图像/视频模型割裂问题Roborock S8 pro ultra 拖地吸尘器好价$999.99回归, 买新款S8 MaxV 也有好deal双林奇案录第三部之校园疑案: 第三十一节多模态AI是医学的未来,谷歌推出三个新模型,Med-Gemini迎来大升级超越 GPT-4V 和 Gemini Pro!HyperGAI 发布最新多模态大模型 HPT,已开源GLM-4开源版本终于来了:超越Llama3,多模态比肩GPT4V,MaaS平台也大升级蚂蚁百灵大模型一号位:GPT-4o发布不意外,原生多模态方向已明GPT-4o仅排第二!北大港大等6所高校联手,发布权威多模态大模型榜单!开源多模态SOTA再易主,19B模型比肩GPT-4v,16G显存就能跑杀疯了!全面超越Llama3的强悍开源模型,仅9B,1000k上下文;GPT-4级别模型1年降价1万倍独家|杨红霞创业入局“端侧模型”,投后估值 1.5 亿美元端侧 AI 新篇章!商汤科技发布「速度最快」的端侧模型国产端侧小模型超越 GPT-4V,「多模态」能力飞升面壁发布多模态小钢炮仅仅 8B 参数规模,超越 GPT-4V 和 Gemini Pro刚看了这介绍,很期待iPhone 16 Pro,想入GPT-4o成为全领域SOTA!基准测试远超Gemini和Claude,多模态功能远超GPT-4国产「小钢炮」一夜干翻巨无霸GPT-4V、Gemini Pro!稳坐端侧多模态铁王座北京内推 |​ 商汤研究院基础多模态大模型组招聘多模态方向算法实习生一口气读完《沙丘》 ,零一万物宝藏API正式开箱!酷炫Demo实测,多模态中文图表体验超越GPT-4V中国移动千亿多模态大模型发布,「九天-九九」风趣畅聊堪比GPT-4o端侧模型 OctopusV3 发布:手机上的超级助理,性能媲美 GPT-4V 和 GPT-4 的组合?今日arXiv最热CV大模型论文:国产开源视觉大模型InternVL 1.5发布,赶超GPT-4V水准梗图理解“天花板”!港中文终身教授贾佳亚团队推出多模态模型:GPT-4+DALL-E 3,王炸组合刷爆榜单果家今天发布M4芯片加持,再次“史上最强 iPad Pro”。还有新iPad air和pencil pro。买买买!我的medical assistantsGPT面壁智能发布最强端侧多模态模型:超越Gemini Pro 、GPT-4V,图像编码快150倍!未央播报 | 央行进一步推动优化支付服务工作 OpenAI发布多模态大模型GPT-4o安谋科技杨磊:抢占端侧大模型部署制高点,NPU将为端侧提供关键动力丨GenAICon 2024长篇小说《谷雨立夏间》81 是否归去上海AI Lab开源首个可替代GPT-4V的多模态大模型GPT-4o 与 Gemini 能否用多模态撬开下一代 AI 的新进程?多模态模型学会打扑克:表现超越GPT-4v,全新强化学习框架是关键8B文字多模态大模型指标逼近GPT4V,字节、华师、华科联合提出TextSquare神秘GPT模型引爆社区,GPT-4.5、GPT-5谣言满天飞,奥特曼在线围观双林奇案录第三部之校园疑案: 第三十节GPT-4现场被端侧小模型“暴打”,商汤日日新5.0:全面对标GPT-4 Turbo
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。