作者 | 西西

编辑 | 陈彩娴

在刚刚过去的机器人学术顶会 ICRA 2024 上，「具身智能」成为热议，其中围绕具身智能的一个普遍疑问是：若将 AI 大模型应用到消费级机器人领域，首先是模型适配终端，还是终端适配模型？

过去一年，由于 6B、7B 等小模型的成果井喷，以及 MoE 训练技术的越发成熟，将模型跑在手机、学习机、平板电脑、机器人甚至汽车等等终端应用上的想象力开始变大，无论算法层还是硬件层都「蠢蠢欲动」。诚然，这已经成为一个明朗的行业方向，但在系统整合上却要面临不同话语体系之间的博弈。

以机器人为例。从算法层看，将模型做小是关键，但硬件厂商关心的却是模型能否适配自身的产品：

首先，消费机器人有固定的产品周期，从研发到投入市场往往要经历大半年到一年半左右的时间。因此，尽管 ChatGPT 破圈后已经过去一年多，但目前已经上市的扫地机中却没有已经部署大模型的产品；

其次，硬件底层的芯片有上限，芯片设计完后就是一个性能参数限定的「物理」产品，其中带宽能跑多少、内存能用多大都已经是已知数，这就直接了应用在硬件上的 AI 模型能用多大参数、跑多快速度。

因此，机器人厂商普遍关注两个问题：一是如何将目标尺寸的大模型跑在固有的芯片上，二是如何使大模型服务好已有的场景，如扫地、语音交互等。

同样的问题也出现在其他的终端应用领域，如手机、平板、学习机等。此外，由于视觉是上一代 AI 与终端应用结合的主流，如智能手机中的人脸识别、语音交互，多模态也成为端侧大模型的性能首选。

这意味着，接下来的端侧大模型爆发将离不开三个要素：一，满足产品形态与适配芯片的需求；二，具备多模态模型能力；三，能够在长周期的产品研发投入中保持具有竞争力的价格优势。

但目前，国内外大模型厂商能聚焦、兼顾三者的团队寥寥无几。这意味着，在未来的 2024 年乃至 2025 年，能够在适配、性能与价格上率先拔得头筹的算法团队，将能赢得端侧 AI 领域的最终话语权。

据 AI 科技评论观察，国内的大模型团队在端侧上也发力迅猛。以多模态能力为例，国外 OpenAI、谷歌，国内阿里、面壁智能等均在 20B 以内参数规模的小模型上有布局。而据了解，20 亿几乎是目前国内芯片厂商正在研发的终端芯片主流支持的参数规模，而面壁正是这一参数量级的代表性玩家。

而近日，主打「小钢炮」的面壁智能所发布的新成果更尤为值得关注！继被吴恩达大力推广的 ChatDev 后，面壁在端侧模型上频出奇招，再次推出端侧多模态模型 MiniCPM-Llama3-V 2.5，直接干翻 GPT-4V 与多模态巨无霸 Gemini Pro，引起了海内外的广泛关注。

据了解，面壁智能最新发布的多模态模型 MiniCPM-Llama3-V 2.5 性能飞跃，今非昔比：

• 多模态能力飞升：参数规模仅 8B，综合性能却超越谷歌的多模态巨无霸 Gemini Pro 与 OpenAI 的 GPT-4V；

• OCR 能力 SOTA：能够精准识别长图、难图与长文本，9 倍像素更清晰，同时具备识别与推理能力；

• 手机端突破：首次整合 NPU 和 CPU 加速框架， 对手机端多模态大模型进行系系统级加速，速度提升 150 倍；

• 多语种能力：支持 30 多种语言，除了中英双语，还包括法语、德语、西班牙语等等主流语言，基本覆盖了一带一路的所有国家；

• ……

图注：面壁新模型 MiniCPM-Llama3-V2.5 综合能力水平指数

笔者看了表示大为震撼。我们知道面壁在今年 1 月发布的 MiniCPM 是专攻「以小博大」的端侧模型，但没想到短短3个月，从 MiniCPM-V 到 MiniCPM-V 2.0、再到 MiniCPM-Llama3-V2.5，面壁智能的端侧模型不断迭代，在多模态各项能力上竟取得了如此迅速、耀眼的突破！

在综合评测权威平台 OpenCompass 上，面壁 MiniCPM-Llama3-V2.5 以小博大，以 8B 量级综合性能超越多模态巨无霸 GPT-4V 和 Gemini Pro，是目前端侧最强的模型：

多模态能力是当前大模型最核心的竞争力之一，手机、PC 等智能终端设备因其高频的影像视觉处理需求，对在端侧部署 AI 模型提出了更高的多模态识别与推理能力要求。

具体从 OCR 识别、模型幻觉能力与空间理解能力来看的话，面壁的最新 MiniCPM-Llama3-V2.5 实现了开源模型的性能 SOTA。展开来看：

OCR 识别中，在 OCR 综合能⼒权威榜单 OCRBench 上，面壁「多模态小钢炮」超越了Claude 3V Opus、GeminiPro 等标杆模型，也超过了原先排名第一的上海人工智能实验室 InternVL-Chat-V1.5、最新霸榜第一！

排名第二的 InternVL-Chat-V1.5 虽然没有比面壁 MiniCPM-Llama3-V2.5 落后太多，但前者参数是后者的 3 倍。

幻觉能力上，MiniCPM-Llama3-V 2.5 在Object HalBench 榜单上超越了 GPT-4V 等众多模型（注：目标幻觉率应为0）：

空间理解能力上，在专注于评估多模态模型基本现实世界空间理解能力的 RealWorldQA 榜单上，MiniCPM-Llama3-V 2.5 再次超越 GPT-4V 和 Gemini Pro：

面壁智能 CTO 曾国洋在数月前告诉过 AI 科技评论，他一直认为模型的空间理解能力是实现 AGI 的几个重要组成能力之一。要实现 AGI，现有的长文本长序列架构还不能满足，AGI 还需要一个更好的框架来解决模型的记忆与学习问题，一块是空间记忆，另一块则是经验学习。

从这个思路看，面壁智能 MiniCPM-Llama3-V2.5 的发布，或者不只表明了面壁在端侧模型上的突破，还有更宏大的 AGI 愿景。

关于多模态，过去行业的标杆成果往往以物体精准识别为主，但大规模预训练语言模型诞生后，AI 模型的常识与推理能力愈发成为考量多模态模型的关键维度。

能同时兼顾「识别」与「推理」能力的多模态模型凤毛麟角，此次面壁发布的 8B 多模态小模型成为了其中之一。多个案例展示了面壁多模态小钢炮的识别-推理能力：

1）《三体》相关建筑图识别推理——

面壁智能 MiniCPM-Llama3-V 2.5 很快就能推理出这些建筑是为了纪念《三体》及其对中国科幻文学的贡献而设计：

但 GPT-4V 则答非所问：

2）手机图片识别与信息提取、结构化输出——

输入一张手机拍摄的火车票，MiniCPM-Llama3-V 2.5 能准确提取信息，给出无误的「json」格式输出：

3）高精尖行业学术论文图表分析——

给 MiniCPM-Llama3-V 2.5 一张包含复杂逻辑的流程图：

MiniCPM-Llama3-V 2.5 不仅能够轻松看懂流程图中不同模块的文字、箭头之间的空间位置和复杂逻辑关系 ，还能给出清晰易懂的解释说明：

4）长图长文本识别与信息推理——

此外，在视觉一块，面壁 MiniCPM-V 系列模型也实现了识别图像像素的飞升。

据面壁智能透露，有别于传统技术仅能识别20万像素小图，MiniCPM-V 系列可以高效编码及无损识别180万高清像素图片，并且支持任意长宽比图像识别、甚至「有点变态」的 1:9 极限宽高比。

此处 GIF 为 2 倍速，我们正进一步加速优化中