华南理工TANGO项目原作解读: 文本驱动的三维物体风格化模型

根据给定输入创建 3D 内容（例如，根据文本提示、图像或 3D 形状）在计算机视觉和图形领域具有重要应用。现实中通常需要专业艺术（Technical Artist）耗费大量的时间成本去创作 3D 内容。

为了减少人力消耗，实现整个流程的自动化，华南理工等机构的研究人员提出了TANGO — 一种根据文本指导三维物体风格化的方法。这一领域目前最相关的工作是 Text2Mesh，它使用了预训练模型 CLIP 作为指导，预测三维模型表面顶点的颜色和位置偏移，从而实现风格化。然而简单地预测表面顶点颜色通常会产生不真实的渲染效果，且不规则的顶点偏移会造成很严重的自交。因此，该研究借鉴传统的基于物理的渲染管线，将整个渲染过程解耦为 SVBRDF 材质，法向贴图和灯光的预测过程，并分别用球高斯函数表达解耦的元素。这种基于物理的解耦方式使得 TANGO 可以正确产生具有真实感的渲染效果，并具有很好的鲁棒性。

对于给定的文本输入和三维模型，TANGO 可以产生精细程度较高的具有照片级真实感的细节，并且不会在三维模型表面产生自交问题。同时，得益于 TANGO对渲染方程的物理解耦，我们能够对材质进行编辑和重新打光，实现对输出结果的控制。另外，由于 TANGO 采用预测法向贴图的方式增添物体表面细节，因此对于顶点数较少的三维模型也有很好的鲁棒性。

机器之心最新一期线上分享邀请到了华南理工大学 Gorilla Lab 一年级博士生陈永炜（导师为贾奎教授），为大家解读他们提出的文本驱动三维模型风格化方法——TANGO。

分享主题：TANGO: 文本驱动的三维物体风格化模型

分享嘉宾：陈永炜，华南理工大学 Gorilla Lab 一年级博士生。师从贾奎教授，研究方向为三维视觉，多模态学习，可微渲染，扩散模型等，相关研究工作曾在 CVPR、ECCV、NeurIPS 等计算机视觉和人工智能顶级会议上发表

分享摘要：本次分享将介绍一种基于文本驱动的三维模型风格化方法——TANGO，该方法对于给定的三维模型和文本，可以自动生成更具有真实性的 SVBRDF 材质，法向贴图和灯光，并且对低质量三维模型有更好的鲁棒性。该研究已被 NeurIPS 2022 接收为 spotlight。