扩散模型再发力！Hinton团队提出：图像和视频全景分割新框架

本文的创新点一方面在于能够在大型全景掩码上训练扩散模型，一方面在于可以同时适配图片和流媒体场景。

全景分割是一项基本的视觉任务，该任务旨在为图像的每个像素指定语义标签和实例标签。语义标签描述每个像素的类别（例如天空、竖直物体等），实例标签为图像中的每个实例提供唯一的 ID（以区分同一类别的不同实例）。该任务结合了语义分割和实例分割，提供了关于场景的丰富语义信息。

虽然语义标签的类别是先验固定的，但分配给图像中对象的实例 ID 是可以互相交换同时不影响识别的。例如，交换两辆车的实例 ID 不会影响结果。因此，经过训练以预测实例 ID 的神经网络应该能够学习从单个图像到多个实例 ID 分配的一对多映射。一对多映射的学习具有挑战性，传统方法通常利用多个阶段的管道，包括对象检测、分割、合并多个预测 。最近，基于可微二分图匹配，一些学者提出了端到端方法，能够有效地将一对多映射转换为基于识别匹配的一对一映射。然而，这些方法仍然需要定制的架构和专门的损失函数，以及用于全景分割任务的内置归纳偏置。

最近的通用视觉模型，例如 Pix2Seq、OFA、UViM 和 Unified I/O，提倡通用的、不限制任务的框架来实现泛化任务，同时还能比以前的模型简单得多。例如，Pix2Seq 根据图像生成一系列具有语义意义的序列，来完成一些核心的视觉任务，并且这些模型基于 Transformers 来训练自回归模型。

在一篇新的论文中，谷歌大脑的 Ting Chen、Geoffrey Hinton 等研究者遵循相同的理念， 从条件离散数据生成的角度理解全景分割任务问题。

A Generalist Framework for Panoptic Segmentation of Images and Videos

论文链接 https://arxiv.org/abs/2210.06366

如图 1 所示，研究者为全景掩码设计了一个生成模型，并为输入到模型的每一张图片都生成一组离散 token。使用者只需将过去帧的预测作为附加条件信号，就可以将此模型应用于视频数据（在线数据 / 流媒体）。这样一来，模型就可以自动地学习跟踪和分割对象。

通过广泛的实验，研究者们证明了他们的通用法可以在类似环境中与最先进的专家方法一较高下。

模型架构

像素 / 图像编码器

编码器是将原始图像映射到中的特征图的网络，其中 H’和 w’是全景遮罩的高度和宽度。全景遮罩可以与原始图像的大小相同或小一点。在这项工作中，研究者们使用 ResNet 作为骨干网络，然后使用 Transformer 的编码器层作为特征提取器。为了确保输出的特征图具有足够的分辨率，并包含不同尺度的特征，受 U-Net 和特征金字塔网络的启发，研究者使用具有双边连接和上采样操作的卷积从不同的分辨率来合并特征。虽然可以使用更复杂的编码器，这样可以使用一些架构设计方面的最新进展，但这不是网络模型的主要关注点，所以研究者只是使用较为简单的特征提取器来说明其在模型中的作用。

掩码解码器

解码器在模型推理过程中基于图像特征，迭代地细化全景掩码。具体来说，研究者使用的掩码解码器是 TransUNet。该网络将来自编码器的图像特征图和噪声掩码（随机初始化或迭代地来自编码过程）的连接作为输入，并输出对掩码的精确预测。解码器与用于图像生成和图像到图像转换的标准 U-Net 架构之间的一个区别是，在上采样之前，本文使用的 U-Net 顶部使用了带有交叉注意力层的 transformer 解码器层来合并编码的图像特征。

在视频模态下的应用

研究者将图像条件下的全景遮罩建模为：p(m|x)。基于给定视频的三维掩码（有一个额外的时间维度），本文的模型就可以直接适用于视频全景分割。为了适应在线 / 流媒体的视频设置，可以改用 p(m_t|x_t,m_(t-1),m_(t-k))建模，从而基于当前的图像和上一时刻的掩码生成新的全景掩码。如图 5 所示，这一变化可以通过将过去的全景掩码 (m_(t-1),m_(t-k)) 与现有的噪声掩码连接起来来实现。除了这个微小的变化之外，其他方面都与视频基础模型（p(m|x)）相同。这个模型很简单，对图像全景模型进行微调就可以应用到视频场景里。

实验结果

本文与两个系列的最先进的方法进行了比较，即专家方法和通用方法。表 1 总结了在 MS-COCO 数据集上的结果。Pix2Seq-D 在基于 ResNet-50 的主干上的泛化质量（PQ）与最先进的方法相比有一定的竞争力。与最近的其他通用模型如 UViM 相比，本文的模型表现明显更好，同时效率更高。

表 2 将 Pix2Seq-D 与无监督视频物体分割最先进的方法在 DAVIS 数据集上进行了比较，指标使用的是标准的 J&F。值得注意的是基线不包括其他通用模型，因为它们不能直接适用于该任务。本文的方法在没有专门设计的情况下取得了与最先进的方法相同的结果。

图 8、9 和 10 显示了 Pix2Seq-D 在 MS-COCO、Cityscape 和 DAVIS 上的示例结果。

点击进入—>CV微信技术交流群

CVPR/ECCV 2022论文和代码下载

后台回复：CVPR2022，即可下载CVPR 2022论文和代码开源的论文合集
后台回复：ECCV2022，即可下载ECCV 2022论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

图像分割交流群成立

扫描下方二维码，或者添加微信：CVer222，即可添加CVer小助手微信，便可申请加入CVer-图像分割 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。

一定要备注：研究方向+地点+学校/公司+昵称（如图像分割+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer222，进交流群

CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！

▲扫码进群
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看