顶刊MIA 2023！PUNet：参数高效医学图像分割的提示微调

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【医疗影像】交流群

扫码加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文搞科研，强烈推荐！

在CVer微信公众号后台回复：论文，即可下载论文pdf和代码链接！快学起来！

一句话总结

本文提出一种可提示的UNet（PUNet，prompt-able UNet）架构，即参数高效医学图像分割的提示微调方法，性能提升显著！优于SwinUNETR等网络，代码已开源！

论文信息

在自监督方案上预训练的神经网络已经成为在数据丰富、注释稀少的环境中操作的标准。因此，以参数高效但有效的方式，例如在语义分割的情况下，对于新的一组类，将模型微调到下游任务，变得越来越重要。

算法细节

在这项工作中，我们提出并研究了在两个医学成像数据集上实现参数高效但有效的语义分割自适应的几个贡献。依靠最近流行的提示微调方法，我们提供了一种可提示的UNet（PUNet）架构，该架构在预训练后被冻结，但可通过依赖于类的可学习提示token在整个网络中进行自适应。

我们使用专用的密集自监督方案对该架构进行了预训练，该方案基于在线生成的师生组合原型（contrastive prototype assignment，CPA）的作业，以及一个子集的concurrent分割损失。

主要贡献

实验结果

我们证明，所得到的神经网络模型能够在CT成像数据集上缩小完全微调模型和参数高效调整模型之间的差距。

因此，在平均Dice Similarity Coefficient（DSC，以%为单位）中，TCIA/BTCV数据集的完全精细微调和提示微调变体之间的差异仅为3.83pp，CT-ORG数据集的差异为2.67pp，而仅微调对应于6.8M冻结参数的预训练骨干模型的0.85%的提示微调。

添加好友申请格式（一定要按格式申请）：

研究方向+地区+学校/公司+姓名

重磅！CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看