顶刊TPAMI 2022！清华刘玉身团队提出SPD：雪花反卷积网络
点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
图1 雪花反卷积效果可视化
同时，SPD是一种通用化的点云生成模块，可进一步将其推广到了更多的点云生成类任务，包括点云自编码、新形状生成、单视图重建以及点云上采样，并在多个现有数据集上验证了SPD的细节生成能力和泛化能力。
如图2所示，每一层SPD接收前一层生成的点云作为输入，并对其中每个点进行分裂。SPD捕捉形状细节的核心在于使用Skip-Transformer来融合历史偏移特征以及形状上下文信息。
ShapeNet-34/21数据集常用于验证跨类别形状补全。其中34个类用于训练，另外21个未见过的类只用于测试。表1显示SPD方法在量化结果上相较于之前的方法有可观的提升。图4中展示了跨类别补全的可视化对比。
表1 ShapeNet-34/21补全数据集上的量化结果
图4 ShapeNet-34/21数据集上跨类别补全可视化对比
下面是ScanNet数据集的椅子类别上，验证SPD在真实数据集下的补全能力。表2和图5分别是量化和可视化对比。
表2 ScanNet数据集真实点云补全量化比较
图5 ScanNet真实点云补全可视化对比
点云自编码(Auto-encoding)任务用于验证SPD从特征向量中解码完整点云的能力。下面展示在ShapeNet数据集上进行的实验，在编码器相同的情况下，SPD相较于现有方法具有更好的生成能力。表3和图6分别展示了量化和可视化对比。
表3 ShapeNet数据集上点云自编码量化比较
图6 ShapeNet数据集上点云自编码可视化对比
同样在ShapeNet数据集上进行实验，也验证了SPD的新形状生成能力，结果如表4和图7所示。
表4 ShapeNet数据集上新形状生成量化比较
图7 ShapeNet数据集上新形状生成可视化
单视图重建任务可用于验证SPD从视图特征解码完整点云的能力。表5和图8分别是量化和可视化对比。
表5 ShapeNet数据集上单视图重建量化比较
图8 ShapeNet数据集上单视图重建可视化对比
SPD同样可以被应用于点云上采样任务。从量化(表6)及可视化(图9)结果可以看出SPD在保证模型轻量化的同时，可以达到接近甚至超越现有方法的上采样水平。
表6 PUGAN数据集点云上采样量化比较
图9 PUGAN数据集点云上采样可视化对比
表7 Jittor与PyTorch的训练时间对比
SPD的Jittor开源代码：
Peng Xiang, Xin Wen, Yu-Shen Liu, Yan-Pei Cao, Pengfei Wan, Wen Zheng, Zhizhong Han, Snowflake Point Deconvolution for Point Cloud Completion and Generation with Skip-Transformer, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, DOI: 10.1109/TPAMI.2022.3217161. Xin Wen, Peng Xiang, Zhizhong Han, Yan-Pei Cao, Pengfei Wan, Wen Zheng, Yu-Shen Liu, PMP-Net++: Point Cloud Completion by Transformer-Enhanced Multi-step Point Moving Paths, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(1): 852-867
Xin Wen, Peng Xiang, Zhizhong Han, Yan-Pei Cao, Pengfei Wan, Wen Zheng, Yu-Shen Liu, PMP-Net: Point Cloud Completion by Learning Multi-step Point Moving Paths, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, 7443-7452.
Xin Wen, Tianyang Li, Zhizhong Han, and Yu-Shen Liu*. Point cloud completion by skip-attention network with hierarchical folding. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020, 1939–1948.
Xin Wen, Zhizhong Han, Yan-Pei Cao, Pengfei Wan, Wen Zheng, Yu-Shen Liu*. Cycle4Completion: Unpaired Point Cloud Completion using Cycle Transformation with Missing Region Coding. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, 13080-13089.
Peng Xiang, Xin Wen,Yu-Shen Liu, Yan-Pei Cao, Pengfei Wan, Wen Zheng, Zhizhong Han, SnowflakeNet: Point Cloud Completion by Snowflake Point Deconvolution with Skip-Transformer, Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, 5499-5509.
CVPR/ECCV 2022论文和代码下载
后台回复：CVPR2022，即可下载CVPR 2022论文和代码开源的论文合集
后台回复：ECCV2022，即可下载ECCV 2022论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF
3D点云 交流群成立
扫描下方二维码，或者添加微信：CVer222，即可添加CVer小助手微信，便可申请加入CVer-3D点云 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如3D点云+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer222，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！
▲扫码进群
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看
微信扫码关注该文公众号作者