顶刊TPAMI 2023！中科院提出：基于几何分析的神经辐射场编辑方法

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【NeRF和Transformer】交流群

扫码加入CVer知识星球，可以最快学习到最新顶会顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文，强烈推荐！

来源：图灵讨论班

神经辐射场作为近期一个广受关注的隐式表征方法，能合成照片级真实的多视角图像。但因为其隐式建模的性质，用户难以直观编辑神经辐射场建模对象的几何。面对这一问题，最新被IEEE TPAMI接收的论文《Interactive NeRF Geometry Editing with Shape Priors》 [1]提出了一种基于几何分析的交互式神经辐射场编辑方法。目前已有的一些借助显式几何代理的神经辐射场几何编辑方法，如NeRF-Editing [2]，NeuMesh [3]等，一方面无法实现实时编辑，另一方面需要用户对几何网格代理编辑，具有一定的操作门槛。而该论文提出的方法允许用户在自动提取的盒式变形图柄上交互式编辑神经辐射场，并支持自由视角浏览。

项目主页：

http://geometrylearning.com/InteractiveNeRFEditing

Part1 研究目标

神经辐射场隐式建模场景或物体的几何和外观，提供了逼真的重建效果。但对于建模后的模型，其修改或编辑能力同样重要，以满足后续创作或应用需求。现有基于静态神经辐射场的几何编辑方法通常引入显式几何代理，在对显式几何代理编辑后，将几何代理的变化传播到神经辐射场的采样点上，利用光线弯曲实现对渲染结果的修改[2]；或者在几何代理上定义特征，神经辐射场的渲染与这些特征相关联，因此当特征的空间位置随着几何代理的变化而变化后，渲染结果也会发生改变[3]。

该论文提出的交互式编辑方法考虑编辑对象的几何属性，希望在几何编辑过程中保持对象的几何属性，比如对称性。通过引入合成数据先验，提出的方法可以对建模对象进行几何分析，提取抽象盒子表示，语义分割和对称性。将这些几何属性应用于编辑后，用户可以直接利用抽象盒子作为变形图柄编辑神经辐射场几何，减轻用户的编辑负担，如图1所示。提出的方法还能进行变形传播，比如将一个奔跑马的动作序列传播到陶瓷麋鹿模型上，如图2所示。

图1. 交互式编辑神经辐射场几何

图2. 将奔跑马的动作序列传播到陶瓷麋鹿模型上

Part2 研究方法

该论文提出的方法将合成数据先验引入神经辐射场的几何编辑中，并实现交互式编辑和不同模型语义部件的组合，图3展示了方法流程图。

图3. 基于几何分析的神经辐射场编辑方法，同时支持对不同模型的语义部件的组合

几何属性提取：

基于几何分析的编辑：

其中log和exp分别为矩阵的对数和指数操作。此外，系统标记了对称的抽象盒子对，若用户选择保持对称，则与用户编辑的盒子对称的抽象盒子将同时进行相应的变换，从而保持模型的对称性。在将编辑传播到网格后，提出方法使用NeRF-Editing [2]提出的两步传播方法将编辑从网格传播到隐式空间场。具体地，先将三角网格扩大形成包围网格，并从包围网格建立四面体网格，然后利用三角网格的变化对四面体网格进行变形，最后利用四面体网格对光线上的采样点进行偏移，得到变形模型的视角合成结果。

不同模型的语义部件组合：

实时交互式编辑：

Part3 实验效果

图4展示了提出方法在不同椅子上的基于几何分析的编辑结果，这些编辑都使用了对称性。第一列是抽象盒子表示在编辑前后的可视化。可以看到，使用提取的盒式变形图柄能对模型进行不同的几何编辑，并能很好地保持模型的对称性。

图4. 提出方法在不同椅子上的基于几何分析的编辑结果

参考文献

[1] Yu-Jie Yuan, Yang-Tian Sun, Yu-Kun Lai, Yuewen Ma, Rongfei Jia, Leif Kobbelt, Lin Gao*, Interactive NeRF Geometry Editing with Shape Priors, IEEE TPAMI 2023.

[2] Yu-Jie Yuan#, Yang-Tian Sun#, Yu-Kun Lai, Yuewen Ma, Rongfei Jia, Lin Gao*, NeRF-Editing: Geometry editing of neural radiance fields, IEEE CVPR 2022.

[3] Chong Bao and Bangbang Yang, Junyi Zeng, Hujun Bao, Yinda Zhang, Zhaopeng Cui, Guofeng Zhang, Neumesh: Learning disentangled neural mesh-based implicit field for geometry and texture editing, European Conference on Computer Vision (ECCV), 2022.

[4] Kaizhi Yang and Xuejin Chen, Unsupervised learning for cuboid shape abstraction via joint segmentation from point clouds, ACM Transactions on Graphics (TOG), vol. 40, no. 4, pp. 1–11, 2021.

[5] Lin Gao, Ling-Xiao Zhang, Hsien-Yu Meng, Yi-Hui Ren, Yu-Kun Lai, Leif Kobbelt, PRS-Net: Planar reflective symmetry detection net for 3D models, IEEE Transactions on Visualization and Computer Graphics, vol. 27, no. 6, pp. 3007–3018, 2020.

[6] Thomas Müller, Alex Evans, Christoph Schied, Alexander Keller, Instant neural graphics primitives with a multiresolution hash encoding, ACM Transactions on Graphics (TOG), vol. 41, no. 4, pp. 102:1–102:15, 2022.

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集
NeRF和Transformer交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-NeRF或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。

一定要备注：研究方向+地点+学校/公司+昵称（如NeRF或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看