ICCV 2023 | 混合训练策略突破目标检测大模型上限，创下COCO、LVIS新SOTA

然而，与上文的二分匹配相反，在传统的检测器（如Faster-RCNN、ATSS）中，一个ground-truth会根据位置关系分配到多个anchor（为了方便阐述，本文将anchor、proposal、point等先验统称为anchor）作为正样本。

考虑到anchor在特征图上密集排列，一个点可能对应多个不同大小和长宽比的anchor，以及不同大小的物体会匹配到不同尺度的anchor。那么这种一对多的分配方式就能够提供dense且尺度敏感的监督信息，由此我们猜想，这种标签分配方式能够为特征图上的更多区域提供位置监督，就能让检测器的特征学习得更好。

为了比较这两种不同的标签分配方法在特征图上的差异，我们直接把Deformable-DETR的decoder换成了ATSS head，使用相同的可视化方法进行了比较。

如图所示，ATSS的特征图可视化中高激活区域很好地覆盖了图片中的前景部分，而背景部分则基本没有激活。结合这些可视化结果，我们认为正是这两种分配方式的差异使得DETR模型中的encoder特征表达能力减弱了。

除了可视化，我们也构造了一个衡量特征图和attention discriminability的指标，目的是为了把可视化的结果进行量化，其具体计算方式如下。简单地说，就是计算出每个尺度特征的L2 norm，进行归一化后再在尺度上进行平均。

在得到discriminability score后，我们计算出其对于前景和背景的响应程度，使用IoF-IoB曲线进行了定量分析，IoF和IoB的计算方式类似，如下公式。

简单地说，就是把目标框内部的像素点都视为前景，框外的为背景，然后就可以得到前景和背景相应的掩码。根据这个掩码和discriminability score就可以进行IoF和IoB的计算。

通过IoF-IoB曲线，我们发现一对一的匹配会分别损害encoder特征和decoder中attention的学习。那么在这种情况下能不能让DETR模型既享受到一对一匹配带来的端到端推理能力，又能够像一对多匹配那样feature和attention学得更好？本文将根据可视化和指标分析的结果，从两方面对这些问题进行探索。

为了能够让DETR检测器利用到一对多匹配的优势，我们基于DETR的训练框架引入了两点改进，分别对应到上文提到的encoder feature learning和decoder attention learning。新加入的模块在训练后不再使用。

（1）在上文的分析中，我们发现在encoder后插入一个传统的ATSS检测头就能让encoder的特征更加显著。

受到这个的启发，为了增强encoder的学习能力，我们首先利用multi-scale adapter，将encoder输出的特征转化为多尺度的特征。

对于使用单尺度特征的DETR，这个adapter的结构就类似于simple feature pyramid。而对于多尺度特征的DETR，这个结构就是恒等映射。之后我们将多尺度的特征送入到多个不同的辅助检测头，这些检测头都使用一对多的标签分配。

由于传统检测器的检测头结构轻量，因此带来的额外训练开销较少。

（2）为了增强decoder的attention学习，我们提出了定制化的正样本query生成。

在上文的分析中，我们发现传统检测器中的anchor是密集排列的，且能够提供dense且尺度敏感的监督信息。

那么我们能不能把传统检测器中的anchor作为query来为attention的学习提供足够的监督呢？当然是可以的，在上一步中，辅助的检测头已经分配好了各自的正样本anchor及其匹配的ground-truth。

我们选择直接继承辅助检测头的标签分配结果，将这些正样本anchor转化为正样本query送到decoder中，在loss计算时无需二分匹配，直接使用之前的分配结果。

与其他引入辅助query的方法相比，这些工作会不可避免地引入大量的负样本query，而我们只在decoder引入了正样本，因此带来的额外训练代价也较小。