ACM MM 2023 | DecenterNet：解决拥挤场景的去中心化人体姿态估计方法

2023-09-06 16:09

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达
点击进入—>【目标检测和Transformer】交流群

EVOL创新团队与北京邮电大学共同提出人体姿态估计方法DecenterNet，用于在提高在拥挤场景下人体姿态估计的准确度。该方法引入了一种去中心化的姿势表征方法，使得网络在纠缠区域/拥挤区域中将更加稳健地表达人体姿态。该方法还提出了一个解耦的姿势评估机制，以自适应地在多个姿态表征中选择最佳姿势。该论文DecenterNet: Bottom-Up Human Pose Estimation Via Decentralized Pose Representation已被ACM MM 2023接收。

DecenterNet：解决拥挤场景的去中心化人体姿态估计方法

在拥挤的场景中进行多人体姿态估计仍然是一个极具挑战性的任务。我们发现目前的人体姿态估计方法在拥挤的场景中的失败大部分来自于无法定位或分组可见的关键点，而不是推理不可见的关键点，如表一。

因此，本文将拥挤的场景分为纠缠和遮挡两种情况，并观察到在拥挤的场景中，纠缠是一个重要的问题。基于这一观察，我们提出了DecenterNet，这是一种端到端的人体姿态估计方法，可以稳健、高效地进行拥挤场景中的姿态估计。

在DecenterNet中，我们引入了一种去中心化的姿势表征方法，该方法以所有可见关键点作为表征点来代表人体姿势，使得网络在纠缠区域/拥挤区域中将更加稳健地表达人体姿态。为了解决上述姿势表征引入过多的False Positive问题，我们还提出了一个解耦的姿势评估机制，该机制引入了location map，以自适应地在多个姿态表征中选择最佳姿势。此外，我们还构建了一个名为SkatingPose的新数据集，其中包含了更多带有纠缠的花滑场景。

（1）去中心化的姿态表征（Decentralized Pose Representation）：

传统的工作采用姿态的中心点、姿态的盆骨点或者人体部位的中心点来表征姿态，之后汇总这些表征点的输出，再经过NMS算法得到人体姿态。然而，当在拥挤的场景中人体姿态发生纠缠时，它们的表征点可能会相互遮挡，从而使得此点代表的姿态发生错误。因此，我们提出了去中心姿势表征（Decentralized Pose Representation）以缓解拥挤场景中的纠缠问题。具体来说，此表征以姿态所有可见关键点作为表征点，并缩小表征点范围来减小相互遮挡的可能性。一方面，姿态的可见点很难被完全遮挡，比中心点更具辨别性。另一方面，融合来自更多不同位置的表征点的预测会产生更全面、更稳健的预测。

（2）解耦的姿势评估机制（Decoupled Pose Assessment）：

可以预见的是，由于使用了过多的表征点，上述的姿势表征将引入大量的False Positive问题，因此我们提出了解耦的姿势评估机制，将传统的heatmap的选表征点和评估姿态的两个功能解耦给了heatmap和location map，如下图所示。

在此姿态评估机制中，location map的作用尤为关键。它一方面被用于从offset map中选取表征点，另一方面可以进一步增强heatmap的评分功能。具体来讲，location map是由4x4的全1正方形区域监督，并与offset map的loss相乘来动态地表征offset map上姿态的置信度。传统的表征点heatmap的极大值点并不能代表此表征点的姿态质量最好，而location map可以自适应地选择置信度高的姿态表征点，从而得到更优解。

实验结果

我们在COCO，CrowdPose，SkatingPose三个数据集中进行了实验。相比于其他自底向上的人体姿态估计方法，DecenterNet以较低的参数量和计算量实现了SOTA结果。

总结

DecenterNet是一种用于拥挤场景中人体姿态估计的端到端方法。该方法采用去中心化的人体姿态表征，以所有可见的关键点作为表征点来表征人体姿势，从而在纠缠区域中得到更好的结果。此外，DecenterNet还采用了解耦的姿态评估机制，通过location map自适应地选择最优姿态。我们还构建了一个名为SkatingPose的新数据集，其中包含了更多带有纠缠的花滑场景。

点击进入—>【目标检测和Transformer】交流群

ICCV / CVPR 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集

后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集

目标检测和Transformer交流群成立

扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群