CVPR 2023 | MobileOne：移动端仅需1ms的高性能主干！超越MobileViT！

公众号新闻

2023-05-07 16:05

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达
点击进入—>【Transformer】微信技术交流群

转载自：AIWalker

MobileOne: An Improved One millisecond Mobile Backbone
代码：https://github.com/apple/ml-mobileone

论文：https://arxiv.org/abs/2206.04040

一句话总结

MobileOne(≈MobileNetV1+RepVGG+训练Trick)是由Apple公司提出的一种基于iPhone12优化的超轻量型架构，在ImageNet数据集上以<1ms的速度取得了75.9%的Top1精度。

出发点

高效率网络具有更强的实用价值，但学术界的研究往往聚焦于FLOPs或者参数量的降低，而这两者与推理效率之间并不存在严格的一致性。比如，FLOPs并未考虑访存消耗与计算并行度，像无参操作(如跳过连接导致的Add、Concat等)会带来显著的访存消耗，导致更长推理耗时。

为更好的分析高效率网络的瓶颈所在，作者以iPhone12平台为基准，从不同维度进行了"瓶颈"分析，见上图。从中可以看到：

具有高参数量的模型也可以拥有低延迟，比如ShuffleNetV2；
具有高FLOPs的模型也可以拥有低延迟，比如MobileNetV1和ShuffleNetV2；

上表从SRCC角度进行了分析，可以看到：

在移动端，延迟与FLOPs和参数量的相关性较弱；
在PC-CPU端，该相关性进一步弱化。

具体方案

基于上述洞察，作者从先两个主要效率"瓶颈"维度上进行了对比，然后对性能"瓶颈"进行了分析并提出相应方案。

Activation Functions：上表对比了不同激活函数对于延迟的影响，可以看到：尽管具有相同的架构，但不同激活函数导致的延迟差异极大。本文默认选择ReLU激活函数。

Architectural Block：上表对影响延迟的两个主要因素(访存消耗与计算并行度)进行了分析，见上表，可以看到：当采用单分支结构时，模型具有更快的速度。此外，为改善效率，作者在大模型配置方面有限的实用了SE模块。

基于上述分析，MobileOne的核心模块基于MobileNetV1而设计，同时吸收了重参数思想，得到上图所示的结构。注：这里的重参数机制还存在一个超参k用于控制重参数分支的数量(实验表明：对于小模型来说，该变种收益更大)。

在Model Scaling方面类似MobileNetV2，上表给出了MobileOne不同配置的参数信息。

在训练优化方面，小模型需要更少的正则，因此作者提出了Annealing的正则调整机制(可带来0.5%指标提升)；此外，作者还引入渐进式学习机制(可带来0.4%指标提升)；最后，作者还采用EMA机制，最终MobileOne-S2模型达到了77.4%的指标。

实验结果

上表给出了ImageNet数据集上不同轻量型方案的性能与效率对比，可以看到：

哪怕最轻量的Transformer也需要至少4ms，而MobileOne-S4仅需1.86ms即可达到79.4%的精度；
相比EfficientNet-B0，MobileOne-S3不仅具有指标高1%，同时具有更快的推理速度；
相比其他方案，在PC-CPU端，MobileOne仍具有非常明显的优势。

上表为MS-COCO检测、VOC分割以及ADE20K分割任务上的性能对比，很明显：

在MC-COCO任务上，MobileOne-S4比MNASNet指标高27.8%，比MobileViT高6.1%；
在VOC分割任务上，所提方案比MobileViT高1.3%，比MobileNetV2高5.8%；
在ADE20K任务上，所提最佳方案比MobileNetV2高12%，而MobileOne-S1仍比MobileNetV2高2.9%。

在文章最后，作者俏皮的提了一句："Although, our models are state-of-the art within the regime of efficient architectures, the accuracy lags large models ConvNeXt and Swin Transformer"。笔者想说的是：看上图。

上面论文和代码下载

后台回复：MobileOne，即可下载上面论文和代码

最新CVPR 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立

扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群