MICCAI 2022 | 基于对比学习和视觉Transformer的弱监督视频肠息肉检测

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—> CV 微信技术交流群

一句话总结

本文提出一种有效的基于视觉Transformer的弱监督视频异常检测架构来实现精准检测结直肠息肉。这也是首篇利用弱监督视频标签来进行肠息肉检测的研究， 文章基于之前数据集整理合并提出了一个全新的大型结直肠视频数据集用于息肉检测的研究。性能表现SOTA！代码和数据即将开源！

Contrastive Transformer-based Multiple Instance Learning for Weakly Supervised Polyp Frame Detection

单位：阿德莱德大学 新加坡管理大学 南澳大利亚健康医疗中心

论文:  https://arxiv.org/abs/2203.12121

代码：https://github.com/tianyu0207/weakly-polyp

结直肠镜是一种有效的检测手段来早起筛查结直肠癌。然后， 在肠镜过程中医生往往会遗漏细小的不引人注意的肠息肉， 给病人的健康留下严重的隐患。所以利用AI系统来辅助医生精准检测是十分重要的。

比较常用的方法是利用全监督的方法来逐帧标注。这种方法需要专业医生很多的精力和时间， 所以之前的论文通常利用无监督异常检测来解决。无监督异常检测只需要利用正常数据来进行训练， 然后通过对比正常和异常的特征区别达到检测肠息肉的功能。这些工作因为没有利用异常数据训练 往往很容易忽略掉很多微笑的或者只有部分可见的肠息肉。所以本文首次提出利用弱监督视频异常检测的方法来解决这个问题， 即只使用视频级的标注而不需要逐帧标注。这样做大大减少了标注的繁琐过程和时间 并且能够有效的检测细微不引人注意的息肉。

之前的弱监督视频异常检测方法通常利用multiple instance learning， 即正常视频中所有帧视为正常帧， 异常视频内至少有一或多帧为异常。基于MIL的方法经常很难准确检测出异常视频中哪一帧存在异常， 尤其是当异常帧和正常帧很像的时候。

在这篇文章， 我们首次探索了利用弱监督异常检测如何在结肠镜视频中检测异常帧 通过一个新颖的基于视觉transformer的架构。为了evaluate我们方法的准确性， 我们整理了已知的几种结肠镜数据集 整合成了一个大型的视频结肠镜数据集来测试弱监督和全监督视频帧异常检测。这个新数据集为后面的研究提供一个全新的benchmark去测试和发展。

主要贡献

– To the best of our knowledge, this is the first work to tackle polyp detection from colonoscopy in a weakly supervised video anomaly detection manner.

– We propose a new transformer-based MIL framework that optimises anomaly scores in both snippet and video levels, resulting in more accurate anomaly scoring of polyp snippets.

– We introduce a new contrastive snippet mining (CSM) approach to identify hard and easy normal and abnormal snippets, where we pull the hard and easy snippets of the same class (i.e., normal or abnormal) together using a contrastive loss. This helps improve the robustness in detecting subtle polyp tissues and challenging normal snippets containing feces and water.

– We propose a new WVAD benchmark containing a large-scale diverse colonoscopy video dataset that combines several public colonoscopy datasets.

实验结果

实验结果表明，我们的方法在这个全新的结肠镜视频数据集上明显优于其他网络。例如， 我们的方法超过RTFM和MIST 10%-15% AP， 证明了方法的稳定性和准确性。

下图可以看出我们方法可以有效的降低正常帧的异常分数并且提高异常帧（带息肉）的异常分数。

点击进入—> CV 微信技术交流群

CVPR 2022论文和代码下载

后台回复：CVPR2022，即可下载CVPR 2022论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立

扫描下方二维码，或者添加微信：CVer222，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer222，进交流群

CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！

▲扫码进群
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看