华为&中科大提出TinySAM：手机就能实时跑的分割一切模型

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【图像分割】微信交流群

扫码加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文搞科研，强烈推荐！

分割一切模型（Segment Anything Model，SAM）展现出了强大的分割万物能力，但是网络结构复杂，计算代价高，在资源受限的端侧应用中无法直接使用。同时，我们发现在SAM的Everything推理模式中，原始的网格点prompt的方式会带来巨大的计算代价。针对这个问题，我们提出了TinySAM模型，利用知识蒸馏、量化等手段对模型做了极致的压缩，同时提出了再Everything推理模式下的层次化推理策略。TinySAM在计算代价降低多个数量级的情况下，仍然保持了SAM模型强大的zero-shot分割能力。

TinySAM: 极致高效的分割一切模型

这个工作通过知识蒸馏、后量化等方法对SAM模型做极致压缩，同时提出一种针对Everything推理的加速方法，探索分割一切模型性能和效率的极限。

(1) 全阶段知识蒸馏

针对分割一切模型多模块、难优化的结构特点，我们提出一种全阶段的知识蒸馏方法，从多个特征层面进行蒸馏学习，从图像特征（embedding）、最终监督特征（mask）、中间过渡特征（token）三个层面进行蒸馏损失的设计，最大程度减少轻量化学生网络的学习难度。

(2) 模型后量化

为了进一步降低模型计算量，提升推理效率，我们将TinySAM量化到8bit，其中卷积层和反卷积层采用channel-wise的非对称均匀量化，matmul和linear层分别采用headwise和layerwise的对称均匀量化。在量化策略上，逐层对网络进行串行量化，并采用与任务Loss更一致的hessian guided metric作为量化前后输出的距离度量。量化后的模型计算量能进一步减少到全精度的1/4左右，大幅降低计算量。

(3) 层次化分割一切

SAM模型在Everything（分割一切）推理模式中，通过密集的网格点作为Prompt进行推理，我们发现这种密集的Prompt输入和推理耗费了大量的计算量。因此，我们设计了一种层次化的分割一切的推理策略。先用较少的初始采样点得到初始结果，然后把高置信度区域的密集采样点移除，得到二次推理结果，与初始推理结果进行后处理融合得到最终的推理结果。这种策略在保持分割一切效果的同时，大幅减少了采样点数量，推理加速一倍左右。

实验结果

我们在多个zero-shot下游任务上进行了实验，包括在COCO和LVIS数据集的zero-shot实例分割实验，我们按照SAM论文的设置通过ViTDet得到的检测框作为Prompt输入到TinySAM模型中。相比MobileSAM，TinySAM在COCO的平均准确率提升0.9%，在LVIS的平均准确率能提升1.6%。即使采用8bit量化后，TinySAM仍然保持了性能优势。更多的实验结果和可视化结果请参考论文。

在CVer微信公众号后台回复：论文，即可下载论文pdf和代码链接！快学起来！

CVPR / ICCV 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集
图像分割交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-图像分割 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。

一定要备注：研究方向+地点+学校/公司+昵称（如图像分割+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看