CVPR 2023 | Uni3D: 首个多数据集3D目标检测框架

Uni3D - 一种多数据集3D目标检测的基线

1.1

MDF多域融合是指3D目标检测器在多个数据集上进行联合训练，并且需要尽可能同时在多个数据集实现较高的检测精度。需要注意，相比于Domain Adaptation(DA)领域中的Multi-source Domain Adaptation, 这里所提出的MDF任务不要求不同域之间是close-set闭集关系，即来自于不同域(或数据集)的类别分布是可以不一致的。相比于Multi-source Domain Adaptation，MDF任务设定弱化了对于不同域之间的数据分布和类别分布的条件限制。

同样我们知道，联合不同数据集进行训练从而得到一个更优的模型并不是一个新问题，在2D图像领域中已经被研究过[1, 2]。但是3D点云室外场景具有更强的数据和语义差异，导致不同3D数据集之间难以复用，难以合并到一起进行训练，成为了“数据孤岛”。

1.2

多数据集3D目标检测主要面临以下两个挑战：

1）数据分布级别的差异：不同于由[0,255]的像素分布组成的2D图像数据，来自于不同数据集的3D点云数据通常是由不同传感器厂商采用不一致的点云感知范围采样获得的。关于三个最主流的公开自动驾驶数据集的主要差异如下所示：

实际上，我们也发现在3D场景中难以进行多数据集3D目标检测. 其原因是：传感器不一致的点云感知范围导致对于相同物体的3D检测网络感受野是不一致的，这样会阻碍网络在不同数据集中对一种类别物体的学习过程。因此我们认为对点云进行前处理，包括不同传感器数据的点云范围对齐，传感器高度数据对齐，是进行多数据集3D目标检测的必要前处理过程。

此外，数据分布级别差异也包括不同国家、地理位置，车辆大小的差异。这种差异主要会影响到3D检测器的候选框object-size的设定，对不同场景下物体定位的偏差等。

2）语义分布级别的差异：目前，不同数据集或者厂商还没有采用统一的感知类别指定标注。例如Waymo对“Vehicle”的定义是所有在地面上进行行驶的四轮车，包括卡车、货车、小汽车等。而nuScenes会采用更加细粒度的类别定义。因此要进行多数据集3D目标检测任务，我们还需要考虑语义相似性强但是定义不一致的类别空间。

1.3

在设计Uni3D之前，我们尝试了一些典型的基线模型。如下图所示，我们采用Waymo和nuScenes数据集，初步设计了三种基线：Only Waymo，Only nuScenes，以及Direct Merging。这三个基线分别代表了，单数据集Waymo训练，单数据集nuScenes训练，合并Waymo-nuScenes训练三种常见的模型训练方式。

从上图我们可以观察到，对于单数据集训练方式，它对另一个数据集实际效果不理想；但是合并训练的方式同样会相比于其在原始数据集上单一训练的效果有着明显掉点，这进一步促使我们探索如何提升3D联合多数据集训练的精度。为此，我们设计了如下基线，包括：点云范围对齐/坐标矫正模块，共享参数的3D/2D骨干网络，统计量级别对齐模块，语义级别耦合模块，以及特定数据集的检测头部。

1.3.1 Uni3D框架优势

Uni3D可以将不一致的点云对齐到相同点云范围下进行训练，与此同时Uni3D采用共享参数的骨干网络和特定数据集的检测头部来实现联合多数据集检测任务，这种方式可以使用一个模型同时预测多个带有不一致类别定义和语义差异的数据集，这也进一步实现了MDF的任务要求。除此之外，Uni3D还包括两个新增模块：1）数据级校正操作和 2）语义级特征耦合-重耦合模块。

1.3.2  数据级校正操作

除了使用点云范围对齐等操作，我们还提出了数据级校正操作来缓解不同数据集之间数据统计量的差异。如果使用PV-RCNN或者Voxel-RCNN等基线检测器在多个数据集中进行训练，不同数据集输入数据的均值和方差的差异是非常显著的。然而，在MDF任务设置中，PV-RCNN或者Voxel-RCNN这种统计共享的归一化方式可能会损害训练中的模型可迁移性，因为一个Batch-size内的数据可能来自于具有不一致的均值和方差分布的不同数据集。为此，在MDF任务设置下，我们使用数据集相关的BN操作，即从第t个数据集获得数据集特定的通道平均值  和方差  。然后，采用数据集相关的均值和方差来为进行均值/方差正则化。

1.3.3 语义级特征耦合 - 重耦合模块

如上文所示，语义分布级别的差异主要表现为不同数据集或者自动驾驶厂商对于类别定义的粒度是不一样的。这与典型的Multi-source Domain Adaptation需要一致的类别分布是不同的。针对这样的挑战，我们采用数据集相关的检测头部，为每一个数据集分配一个参数特定的检测头。这样的方式可以使得我们的模型同时感知不同类别粒度的多个数据集。另外，我们还提出了语义级特征耦合-重耦合模块。这个模块的思路是从BEV features中探索不同数据集之前可以互相学习、复用的特征。

具体来说，首先来自于不同数据集的BEV features按照通道维度进行拼接，这样的拼接方式是为了将数据集信息编码到通道维度，从而利用后序的卷积核学习不同数据集的相关性。如下图，由于3D室外场景的稀疏性，我们采用Spatial-wise Feature Enhancement操作来增强BEV features中的前景物体表征，重点关注前景物体的可复用特征的学习；此外，学习到一个数据集re-scaling的掩码  ，根据这个掩码来重新re-scaling BEV features，获得数据集可共享的BEV features   。最终，语义级特征耦合-重耦合模块通过SENet网络将  进行channel-wise attention从而挖掘数据集相关的特性，以此来提升网络对于不同数据集的感知能力。这个模块输出  和  ，这两个BEV features是我们增强过的特征表达，分别将这两个BEV features送入到dataset-specific detection head来进行多数据集联合训练。

1.3.4  联合训练

在联合训练阶段，我们不改变原始基线检测器的Loss Function，而是对于每一个数据集都分配一个Dataset-specific Loss，最后训练过程中的总体Loss是这些Dataset-specific Loss的总和。

1.4

我们在Waymo，nuScenes，KITTI数据集上验证所有的基线模型，并进行了Waymo-nuScenes，nuScenes-KITTI，Waymo-KITTI，Waymo-nuScenes-KITTI多数据集联合训练的实验。这些实验都表明了3D场景下，进行多数据集联合训练的难度，以及使用我们提出的Uni3D，可以缓解模型的性能退化，学习到更加通用的表征。

在进行Uni3D的研究过程中，我们还发现了一个有意思的现象，就是Uni3D表现出对Few-shot Learning的巨大潜力。我们将在来自新场景的Few-shot Data和之前构建好的全量数据集进行合并，并使用Uni3D进行联合训练。我们发现Uni3D在nuScenes数据集上可以实现较高的Few-shot Learning性能。这进一步为3D场景下Few-shot Data的任务提供了另外的选择：选择Uni3D，并且与之前Old Domain全量数据合并到一起训练。

1.5

在这项工作中，我们首次研究了如何使用多个公开3D室外数据集来训练统一的3D检测模型，并提出了一个由数据级校正操作和语义级特征耦合-重新耦合模块组成的统一3D检测框架（Uni3D），该框架可以很容易地与现有的3D检测器相结合。我们在许多公共基准上进行了广泛的实验，结果表明了Uni3D可以学习到更加通用的表达。

3DTrans 代码库中多数据集检测算法基线的构建

3DTrans代码库，是面向自动驾驶场景迁移学习的代码库。在3DTrans代码库中，我们首次实现了基于室外3D多个感知数据集的联合3D目标检测框架。使用3DTrans框架，用户可以进一步开发更优秀的多数据集3D目标检测模型。此外3DTrans代码库还实现了对3D场景Unsupervised Domain Adaptation (UDA), Active Domain Adaptation (ADA), Semi-Supervised Domain Adaptation (SSDA)的支持，将多个迁移学习任务合并到了统一的代码框架中，为研发人员提供统一、友好的开发社区。

对于MDF部分，使用者可以根据具体的目标检测基线，结合train_multi_db_utils.py函数实现更多功能的多数据集目标检测基线。详细内容请参考：

https://github.com/PJLab-ADG/3DTrans/blob/master/docs/GETTING_STARTED_MDF.md

ChatGPT/GPT-4等大模型引发我们对自动驾驶大模型的思考

众所周知，全面、多样的语料库是构建强大、通用的NLP或者跨模态大模型的基石。一些研究表明，如果可以获取到代表力强、差异性强的预训练数据，基础模型的参数量的增加是可以带来预训练性能的提升。

然而在3D LiDAR自动驾驶场景下，由于不同厂商所提供的原始数据之间的差异很大，导致难以在自动驾驶领域获得一个unified dataset。因此，到目前阶段，我们认为在自动驾驶领域实现通用感知的一个必要路线是进行unified dataset的构建，或者是设计一个unified baseline model使得其可以在带有差异化的数据集中学习到一个unified representations。当然，Uni3D选择了后者。与此同时，我们也并没有放弃对前者的努力，近期团队的另一个研究工作Bi3D Bi3D: 首个主动领域适配3D目标检测算法（已开源) 就是在探索如何从海量无标注的自动驾驶数据集中挑选出最优价值的数据，这个研究工作的最终目的实际上是为了从目前已知的多个学术数据集中挑选有价值样本，以最小的存储代价构建一个unified dataset。

统一化vs差异化

单一的追求数据量的提升难以让模型学到通用表征，而差异化的数据在训练的时候难以收敛。在3D场景下，点云数据差异主要来源于很多方面，包括：传感器参数，LiDAR Beam，LiDAR所能感知的距离，天气条件的变化，地理位置等等。差异化的数据具有学习到generalizable representations的巨大潜力，但是差异化的数据同时也为模型训练带来了挑战。因此，Uni3D对于3D自动驾驶场景下的预训练研究提出了初步的解决方案——如何在差异化的数据中获取到通用表征。未来，我们也会继续通过Uni3D的技术路线，进一步探索实现更多厂商、分布差异数据集中联合训练的可能性。将联合众多带有差异但是具有价值的3D感知数据，从这些数据中获取通用表征。

[1] Xingyi Zhou, Vladlen Koltun, and Philipp Krahenb. Simple multi-dataset detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7571–7580, 2022.

[2] Xiyang Dai, Yinpeng Chen, Bin Xiao, Dongdong Chen, Mengchen Liu, Lu Yuan, and Lei Zhang. Dynamic head: Unifying object detection heads with attentions. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 7373–7382, 2021.