logo
Redian新闻
>公众号
>
一行字实现3D换脸！UC伯克利提出「Chat-NeRF」，说句话完成大片级渲染

一行字实现3D换脸！UC伯克利提出「Chat-NeRF」，说句话完成大片级渲染

公众号新闻


  新智元报道  

编辑：一今 好困
【新智元导读】只需要一行字的黑科技！UC伯克利提出Instruct-NeRF2NeRF，一键图像编辑进阶一键3D场景编辑。

由于神经3D重建技术的发展，捕获真实世界3D场景的特征表示从未如此简单。
然而，在此之上的3D场景编辑却一直未能有一个简单有效的方案。
最近，来自UC伯克利的研究人员基于此前的工作InstructPix2Pix，提出了一种使用文本指令编辑NeRF场景的方法——Instruct-NeRF2NeRF。

论文地址：https://arxiv.org/abs/2303.12789
利用Instruct-NeRF2NeRF，我们只需一句话，就能编辑大规模的现实世界场景，并且比以前的工作更真实、更有针对性。
比如，想要他有胡子，脸上就会出现一簇胡子！
或者直接换头，秒变成爱因斯坦。
此外，由于模型能不断地使用新的编辑过的图像更新数据集，所以场景的重建效果也会逐步得到改善。

NeRF + InstructPix2Pix = Instruct-NeRF2NeRF

具体来说，人类需要给定输入图像，以及告诉模型要做什么的书面指令，随后模型就会遵循这些指令来编辑图像。
实现步骤如下：
  1. 在训练视角下从场景中渲染出一张图像。
  2. 使用InstructPix2Pix模型根据全局文本指令对该图像进行编辑。
  3. 用编辑后的图像替换训练数据集中的原始图像。
  4. NeRF模型按照往常继续进行训练。

实现方法

相比于传统的三维编辑，NeRF2NeRF是一种新的三维场景编辑方法，其最大的亮点在于采用了「迭代数据集更新」技术。
虽然是在3D场景上进行编辑，但论文中使用2D而不是3D扩散模型来提取形式和外观先验，因为用于训练3D生成模型的数据非常有限。
这个2D扩散模型，就是该研究团队不久前开发的InstructPix2Pix——一款基于指令文本的2D图像编辑模型，输入图像和文本指令，它就能输出编辑后的图像。
然而，这种2D模型会导致场景不同角度的变化不均匀，因此，「迭代数据集更新」应运而生，该技术交替修改NeRF的「输入图片数据集」，并更新基础3D表征。
这意味着文本引导扩散模型（InstructPix2Pix）将根据指令生成新的图像变化，并将这些新图像用作NeRF模型训练的输入。因此，重建的三维场景将基于新的文本引导编辑。
在初始迭代中，InstructPix2Pix通常不能在不同视角下执行一致的编辑，然而，在NeRF重新渲染和更新的过程中，它们将会收敛于一个全局一致的场景。
总结而言，NeRF2NeRF方法通过迭代地更新图像内容，并将这些更新后的内容整合到三维场景中，从而提高了3D场景的编辑效率，还保持了场景的连贯性和真实感。
可以说，UC伯克利研究团队的此项工作是此前InstructPix2Pix的延伸版，通过将NeRF与InstructPix2Pix结合，再配合「迭代数据集更新」，一键编辑照样玩转3D场景！

仍有局限，但瑕不掩瑜

不过，由于Instruct-NeRF2NeRF是基于此前的InstructPix2Pix，因此继承了后者的诸多局限，例如无法进行大规模空间操作。
此外，与DreamFusion一样，Instruct-NeRF2NeRF一次只能在一个视图上使用扩散模型，所以也可能会遇到类似的伪影问题。
下图展示了两种类型的失败案例：
（1）Pix2Pix无法在2D中执行编辑，因此NeRF2NeRF在3D中也失败了；
（2）Pix2Pix在2D中可以完成编辑，但在3D中存在很大的不一致性，因此NeRF2NeRF也没能成功。
再比如下面这只「熊猫」，不仅看起来非常凶悍（作为原型的雕像就很凶），而且毛色多少也有些诡异，眼睛在画面移动时也有明显的「穿模」。
自从ChatGPT，Diffusion, NeRFs被拉进聚光灯之下，这篇文章可谓充分发挥了三者的优势，从「AI一句话作图」进阶到了「AI一句话编辑3D场景」。
尽管方法存在一些局限性，但仍瑕不掩瑜，为三维特征编辑给出了一个简单可行的方案，有望成为NeRF发展的里程碑之作。

一句话编辑3D场景

最后，再看一波作者放出的效果。
不难看出，这款一键PS的3D场景编辑神器，不论是指令理解能力，还是图像真实程度，都比较符合预期，未来也许会成为学术界和网友们把玩的「新宠」，继ChatGPT后打造出一个Chat-NeRFs。
即便是随意改变图像的环境背景、四季特点、天气，给出的新图像也完全符合现实逻辑。
原图：
秋天：
雪天：
沙漠：
暴风雨：
参考资料：
https://instruct-nerf2nerf.github.io





微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章
相关阅读
他发明苹果电脑，冒充美国国务卿，出演生活大爆炸…昨天，72岁的他二度受邀在UC伯克利发表毕业演讲！（附视频&演讲稿）成本不到100美元！UC伯克利再开源类ChatGPT模型「考拉」：数据量大没有用，高质量才是王道最简单的一键换脸！【2023 Church Park｜9月排位+4~8月現房｜法式简约大气｜本科可】步行伯克利/NEU/Fenway，4.25更文革中彻底废除了《贵族学校》【恭喜录取！新生群入口】UCB 2027er小熊们看这里！告诉你N个爱上伯克利的理由!UC伯克利发布大语言模型排行榜！Vicuna夺冠，清华ChatGLM进前5从B站出发，用Chrome devTools performance分析页面如何渲染安省16岁学生说句话被抓：你生来不是男就是女！不让男生进女厕所，结果惹麻烦了惊恐！UC伯克利分校有人自焚？！现场恐怖！多人受伤...加拿大名校亚裔学生宿舍猝死！多次报警无果！JHU、Williams、Amherst、Vanderbilt、UCLA+4、UCSD+8、UCI+31、Richmond录取到【2023 Church Park｜9月排位+3-5月現房｜简约大气｜本科可】步行伯克利/NEU/Fenway【3/14更新】自然语言融入NeRF，给点文字就生成3D图的LERF来了3D渲染——光栅化渲染原理解析[太惨]加拿大16岁学生说句话被抓：不让男生进女厕所！结果惹麻烦了"𝙇𝙚𝙖𝙙 𝙏𝙝𝙚 𝘾𝙝𝙖𝙧𝙜𝙚"广告#创译挑战关于生命质量单个GPU就能跑！UC伯克利领头，130亿参数「小羊驼」权重公布斯坦福5.5万人研究：30年，男人长（cháng）了3厘米，但并非好事【伯克利/NEU性价比最高两室】【安全系数拉满】【本科生OK】【高级公寓】【Berklee/NEU】【9/1】军旅故事原创系列（33）月黑风高ChatGPT平替「小羊驼」Mac可跑！2行代码单GPU，UC伯克利再发70亿参数开源模型谷歌PaLM 2弱爆：LLM大排名屈居第六，准中文倒数第二｜UC伯克利排行榜新鲜榜出炉让PyTorch创始人直呼「Amazing」的视频「脑补」，动态场景NeRF合成速度提升百倍FastTrack Universität 2023莱比锡大学公立语言项目招生简章姐这生图，说句美神降临不过分【伯克利小舍】【Church Park 2023排位+现房】【NEU/NEC/Berklee】【Fenway最美顶楼】回国必备: 简单好用的翻墙方法总结【Chinatown超值电梯公寓｜本科可】步行Emerson，直达NEU/伯克利/BU/MIT/哈佛/LMA，4.10更ICLR 2023 | DM-NeRF：从2D图像中实现3D场景的几何分解与编辑（已开源）普京与孙权 信仰的颠覆（七十四）LERF：当CLIP遇见NeRF！让自然语言与3D场景交互更直观录取喜报 | 恭喜Zi同学们斩获WUSTL、UCLA、UCI、UCSD、UCSF等共11枚offer！Offer捷报 l 康奈尔材料科学与工程Offer+1！U.S. News专业排名第8！UWM学子跨专业无G超高难度圆梦藤校！【Chinatown限时免中介费｜免首月房租】本科可，下楼江南步行Emerson，直达NEU/伯克利/BU/MIT/哈佛/LMA
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。