火爆的NeRF屠榜ICCV 2023！

2023-10-10 05:10

前段时间，NASA利用NeRF技术进行太空勘探引起了大家的广泛关注。近年来，NeRF（Neural Radiance Field）技术在三维重建领域取得了令人瞩目的进展，为真实世界的场景创建了详尽的三维模型。然而，当输入图像质量受到降低，例如在暗光、噪声或反射情况下，高保真的NeRF三维重建仍然是一个巨大的挑战。

而且在 ICCV 2023 最佳论文候选名单(17篇)中，有3篇是NeRF相关的工作，属实爆火！

扫码参与课程（赠老师授课PPT）

免费领导师亲自整理50+篇三维重建论文合集

（文末福利）

部分三维重建论文展示

我们邀请到某华五高校人工智能博士，10+篇论文一作顶会作者Paul老师，为我们带来——三维重建NeRF技术引爆CVPR，探索增强NeRF的三维重建能力，同时Paul老师也准备了CVPR2023三维重建方向论文带读，详解顶会论文代码和精华。

老师简介

-国内某华五高校人工智能博士

-共发表10余篇SCI国际期刊和EI会议论文，包括一区期刊IEEE ; CCF-A类会议论文IEEE，CVPR，AAAI，NIPS，CCF-B类会议ECCV等。发明专利授权6项

-研究方向：图像去噪、图像超分、三维重建、多模态生成与编辑、暗光增强、图像编码、视频编码等

-指导经验和风格：指导博士研究生、硕士研究生、公司实习生10余人，帮助多名同学成功发表SCI 2区，3区论文多篇。

课程内容

第一天：无需相机位姿的NeRF三维重建

1.三维重建概述

2.NeRF三维重建的概述

3.传统三维重建管道概述

4.联合优化NeRF和相机姿态的无相机位姿的三维重建

5.引入单目深度先验的无相机位姿的三维重建

第二天：高质量的NeRF三维重建

1.去反射的高质量的NeRF三维重建

2.基于RAW域的高质量NeRF三维重建

扫码参与课程（赠老师授课PPT）

免费领导师亲自整理50+篇三维重建论文合集

（文末福利）

Paul老师带读CVPR2023论文部分展示

三维重建是一种将物理世界中的实体转换为数字模型的计算机技术。其基本概念是通过对物理世界中的物体或场景进行扫描或拍摄，并使用计算机算法将其转换为三维数字模型。NeRF是一种新颖的神经网络架构，通过学习一个连续的三维空间中的辐射场来从有限的二维图像中重建高质量的三维场景。

除了NASA运用NeRF技术进行太空勘探，苹果在前段时间推出了基于NeRF的最新研发框架NeuMan，只需输入一段10s左右的人物视频，就能合成该人物在新场景下做着各种新动作的影像，是不是很神奇？

NeuMan示意图

在今年CVPR2023上，有研究团队提出提出了一种基于NeRF的新表示形式，该多边形可以通过标准渲染管道高效合成新图像。该文使用的方法是将NeRF表示为一组多边形，其纹理代表二进制不透明度和特征向量。使用 z 缓冲区对多边形进行传统渲染会生成具有每个像素特征的图像，这些图像由在片段着色器中运行的依赖视图的小型 MLP 进行解释，以生成最终的像素颜色。主要贡献如下：

MobileNeRF 相比与名为 SNeRG 的最先进方法，在保持相同输出质量的同时。就速度而言，比SNeRG快10倍，这使得在移动设备上实时渲染 3D 场景成为可能。
通过存储表面纹理而不是体素纹理，MobileNeRF 比其他方法消耗更少的内存。这使得在内存和功率有限的集成 GPU 上运行该方法成为可能。
MobileNeRF 在网络浏览器上运行，并且与所有经过测试的设备兼容。这是因为查看器是一个 HTML 网页，可以从任何装有 Web 浏览器的设备上访问该网页。
MobileNeRF 允许对重建的物体/场景进行实时操作，因为它们是简单的三角形网格。