SIGGRAPH2023｜DreamFace：一句话生成 3D 数字人？

2023-05-08 04:05

机器之心专栏

机器之心编辑部

在科技迅速发展的今天，生成式人工智能和计算机图形学领域的研究日益引人注目，影视制作、游戏开发等行业正面临着巨大的挑战和机遇。本文将为您介绍一项 3D 生成领域的研究 ——DreamFace，它是首个支持 Production-Ready 3D 资产生成的文本指导渐进式 3D 生成框架，能够实现文本生成可驱动的 3D 超写实数字人。

这项工作已经被计算机图形领域国际顶级期刊 Transactions on Graphics 接收，并将在国际计算机图形顶级会议 SIGGRAPH 2023 上展示。

项目网站：https://sites.google.com/view/dreamface

预印版论文：https://arxiv.org/abs/2304.03117

Web Demo: https://hyperhuman.top

HuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar

引言

自文本和图像生成技术取得巨大突破以来，3D 生成技术逐渐成为了科研和产业界关注的焦点。然而，目前市面上的 3D 生成技术仍然面临着许多挑战，包括 CG 管线兼容性问题、准确性问题以及运行速度问题。

为了解决这些问题，来自影眸科技与上海科技大学的研发团队提出了一种文本指导的渐进式 3D 生成框架 ——DreamFace。该框架能够直接生成符合 CG 制作标准的 3D 资产，具有更高的准确性、更快的运行速度和较好的 CG 管线兼容性。本文将对 DreamFace 的主要功能进行详细介绍，并探讨其在影视制作、游戏开发等行业的应用前景。

DreamFace 框架概述

DreamFace 框架主要包括三个模块：几何体生成、基于物理的材质扩散生成和动画能力生成。这三个模块相辅相成，共同实现了一种高效而可靠的 3D 生成技术。

几何体生成

几何体生成模块的核心任务是根据文本提示生成与之一致的几何模型。DreamFace 采用了基于 CLIP（Contrastive Language-Image Pre-Training）的选择框架，首先从人脸几何参数空间内随机采样的候选项中选择最佳的粗略几何模型，然后通过隐式扩散模型（LDM）雕刻几何细节，使头部模型更符合文本提示。此外，该框架还支持基于文本提示的发型和颜色生成。

基于物理的材质扩散生成

基于物理的材质扩散生成模块旨在预测与预测几何体和文本提示一致的面部纹理。DreamFace 首先将预先训练的 LDM 在收集的大规模 UV 材质数据集上微调，得到两个 LDM 扩散模型。然后，采用联合训练方案协调两个扩散过程，一个用于直接去噪 UV 纹理贴图，另一个用于监督渲染图像。

为了确保所创建的纹理地图不含有不良特征或照明情况，同时仍保持多样性，设计了一种提示学习策略。团队利用两种方法生成高质量的漫反射贴图：（1）Prompt Tuning。与手工制作的特定领域文本提示不同，DreamFace 将两个特定领域的连续文本提示 Cd 和 Cu 与相应的文本提示结合起来，这将在 U-Net 去噪器训练期间进行优化，以避免不稳定和耗时的手工撰写提示。（2）非面部区域遮罩。LDM 去噪过程将额外地受到非面部区域遮罩的限制，以确保生成的漫反射贴图不含有任何不需要的元素。

最后，通过超分辨率模块生成 4K 基于物理的纹理，以进行高质量渲染。