Redian新闻
>
CVPR 2024 满分论文!LiSA:引入语义感知的激光雷达点云视觉定位网络

CVPR 2024 满分论文!LiSA:引入语义感知的激光雷达点云视觉定位网络

公众号新闻

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

五一特惠!CVer学术知识星球最大优惠来了!现在赠送新用户50元优惠券(下方左图),老用户7折+20元续费券(下方右图),CVer星球每天分享最新最优质的AI/CV内容,助力你的科研和工作!

注:扫码加入CVer星球后,记得添加小助手微信号:CVer111,可以每天在朋友圈里阅读学习,查漏补缺!如果已有其他小助手微信,则可以不用重复添加。

激光雷达定位根据每帧激光雷达点云数据估计传感器在全球中的绝对位置和方向,这是计算机视觉和机器人技术中的一项基本任务。

图1 激光雷达视觉定位的相关应用

在隐表达的激光雷达视觉定位领域中,场景坐标点回归(SCR)的方法因为能够有效的利用一些场景几何约束,它在定位精度上对比绝对位姿回归(APR)的方法有很大的优势。SCR的方法为点云中的每一个点都预测其对应的世界坐标系下的对应坐标,然后迭代优化来求解激光雷达的位姿。这种方式平等的使用了所有的点,但这显然是不合理的,直观上,动态的(例如行人和车辆)或重复的(例如路面和树木)物体应该不如显著的和静态的物体重要。

针对这一点,本文提出了LiSA,引入了额外的语义信息来解决这个问题。LiSA在传统的SCR网络的框架上,额外增加了语义分支,通过知识蒸馏的方式让定位网络学习来自分割网络的知识。同时由于较小的网络天然就可能存在较多的噪声,本方法使用了额外的扩散模型(Diffusion Model)来为学生模型预测的语义特征去噪。在推理过程中,只使用LiSA的SCR模块,将冻结的分割模块和知识蒸馏模块丢弃,有效的避免了增加额外的时间和算力开销,满足定位任务最重要的实时性需求,如图2所示。


图2 LiSA网络结构
表1、2和图3、4分别展示了LiSA和对比方法们在QEOxford和NCLT数据集上的定量结果和可视化定位轨迹。在QEOxford数据集上,LiSA在之前最好的定位方法SGLoc的基础上又提升了38%和29%的定位精度和定向精度;在NCLT数据集上,分别提升了17%和34%。可视化轨迹中,LiSA也展示出了最好的效果,几乎不存在离散点。
表1 LiSA和Baseline方法在QEOxford的定位定量结果

表2 LiSA和Baseline方法在NCLT上的定位定量结果


图3 LiSA和Baseline方法在QEOxford的定位可视化结果

图4 LiSA和Baseline方法在NCLT上的定位可视化结果

由于定位常用的benchmark数据集通常不具有人工标注的语义标签,缺少语义分割的真值,本方法使用了现有的预训练好的分割模型来迁移使用。图5展示了使用不同分割方法的定性结果。

图5 不同语义分割方法在QEOxford上的分割定性结果

本文进一步验证了LiSA在不同精度语义特征下的鲁棒性和使Diffusion Model去噪的优势。表3中可以很明显的看到,在语义分割效果较好的情况下,LiSA定位网络的精度也更高些,两者是正相关的。Diffusion Model对于精度也有一定的提升,特别是在语义特征质量相对较低的情况下。

表3 分析实验

本方法将网络回归头之前的各个通道特征相加,并且映射到0-255区间,来考量各个点的激活值大小。从图6中可以看出,在引入了额外的语义信息之后,各个点的激活值分布区间更大,更均匀,这也说明了网络学会了为不同类别的点赋予不同的权重。图7具体展示了不同类别物体的激活值可视化结果。

图6 引入语义信息前后激活值分布

图7 引入语义信息前后点云激活值可视化

总结

本文提出了一种新的用于激光雷达定位的场景坐标回归框架LiSA。据我们所知,LiSA是第一个将语义信息集成到基于回归的激光雷达视觉定位中的工作,不简单地依赖分割模型生成的标签,而是应用基于扩散的知识提取,将相关语义知识从分割模型直接转移到SCR网络中。这使得能够网络自适应提取有助于定位的语义知识,同时将噪声分割的负面影响降至最低。同时,由于基于蒸馏的训练,所有额外的模块都可以在训练后丢弃,从而避免了在推理过程中产生额外计算或网络参数。LiSA在具有挑战性的LiDAR定位数据集上实现了最先进的性能。

来源:空间感知与计算实验室

五一特惠!CVer学术知识星球最大优惠来了!现在赠送新用户50元优惠券(下方左图),老用户7折+20元续费券(下方右图),CVer星球每天分享最新最优质的AI/CV内容,助力你的科研和工作!

注:扫码加入CVer星球后,记得添加小助手微信号:CVer111,可以每天在朋友圈里阅读学习,查漏补缺!如果已有其他小助手微信,则可以不用重复添加。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复:何恺明,即可下载本课程的所有566页课件PPT!赶紧学起来!

CVPR 2024 论文和代码下载

在CVer公众号后台回复:CVPR2024,即可下载CVPR 2024论文和代码开源的论文合集


Mamba、多模态和扩散模型交流群成立

扫描下方二维码,或者添加微信:CVer5555,即可添加CVer小助手微信,便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。


一定要备注:研究方向+地点+学校/公司+昵称(如Mamba、多模态学习或者扩散模型+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

▲扫码或加微信号: CVer5555,进交流群


CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉(知识星球),已汇集近万人!


扫码加入星球学习


▲点击上方卡片,关注CVer公众号

整理不易,请点赞和在看

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
给文字动画注入语义灵魂!港科大开源「文字跳动」技术,每个单词都浪漫CVPR 2024 中科院自动化所36篇入选!新主干/多模态/3D视觉/自动驾驶等全都有!CVPR、AAAI、ICLR 2024优秀论文!搭载率超16%!激光雷达行业即将“跨越鸿沟”,谁能抢占主流市场?CVPR 2024 | 中科大&微软提出:迈向更统一的上下文视觉理解极氪卷完,零跑接着卷,16 万 的 C10 就有激光雷达+Orin-X+骁龙 8295刷屏看‘’曹奶奶爱唠嗑‘’美股基本面 - 2024_03_01 * 晨报 * 纽约社区银行盘前大跌 公司发现内控存在重大缺陷、CEO也被撤换。世贸组织部CVPR 2024满分论文,英伟达开源BOP排行榜6D物体姿态第一名方法解读速腾2023财报:激光雷达出货量150万台才能盈利?CVPR 2024 | 和马赛克说拜拜!华为、清华等提出基于认知的万物超分大模型劝君莫惜花前醉 2024.03.02CVPR 2024|生成不了光线极强的图片?微信视觉团队有效解决扩散模型奇点问题华为发了没有激光雷达的智界S7!伤害了谁?KUNDUN/Dalai Lama - Martin Scorsese\'s Hidden GemCVPR 2024 | 通用视觉新突破!UC伯克利提出首个无自然语言的纯视觉大模型CVPR、AAAI、ICLR 2024满分论文出炉!CVPR 2024 | 北大&电子科大提出RCBEVDet:毫米波雷达-相机多模态的感知架构2024 Chinese New Year's DinnerCVPR 2024 | 字节提出视觉基础模型:ViTamin,实现多项SOTA!突发!Fed 今年(2024)不会降息。花街预测CVPR 2024 | 知识感知注意力!用于组织病理学全幻灯片图像分析CVPR 2024 大核卷积杀回来了!101x101大核!PeLK:高效大核卷积网络CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet激光雷达厂商Luminar裁员20%卷上天的激光雷达,现在发展到哪一步?CVPR 2024 | OmniParser:统一图文解析模型:文字检测识别、视觉信息抽取和表格识别自研激光雷达!第三代骁龙8“上车”!亿咖通“火拼”全球智能汽车市场CVPR 2024 满分论文出炉!这些方向爆火!CVPR、ICLR、AAAI 2024优秀论文!7053 血壮山河之枣宜会战 宜昌溃战 92024 多伦多国际车展(I)比亚迪/亿咖通「杀进」激光雷达,速腾聚创单台亏损近2千元大三本科生在CVPR 2024上发表论文!字节发布视觉基础模型ViTamin,多项任务实现SOTA,入选CVPR2024大模型时代的计算机视觉!CVPR 2024线上论文分享会启动2024 Toronto International Auto Show ( I )应要求写个职场系列(4)CVPR最佳论文颁给自动驾驶大模型!LLM能突破行业技术“天花板”吗?CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。