SIGGRAPH 2023｜DreamFace：一句话生成3D数字人？
点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
转载自：机器之心
在科技迅速发展的今天，生成式人工智能和计算机图形学领域的研究日益引人注目，影视制作、游戏开发等行业正面临着巨大的挑战和机遇。本文将为您介绍一项 3D 生成领域的研究 ——DreamFace，它是首个支持 Production-Ready 3D 资产生成的文本指导渐进式 3D 生成框架，能够实现文本生成可驱动的 3D 超写实数字人。
这项工作已经被计算机图形领域国际顶级期刊 Transactions on Graphics 接收，并将在国际计算机图形顶级会议 SIGGRAPH 2023 上展示。
引言
自文本和图像生成技术取得巨大突破以来，3D 生成技术逐渐成为了科研和产业界关注的焦点。然而，目前市面上的 3D 生成技术仍然面临着许多挑战，包括 CG 管线兼容性问题、准确性问题以及运行速度问题。
为了解决这些问题，来自影眸科技与上海科技大学的研发团队提出了一种文本指导的渐进式 3D 生成框架 ——DreamFace。该框架能够直接生成符合 CG 制作标准的 3D 资产，具有更高的准确性、更快的运行速度和较好的 CG 管线兼容性。本文将对 DreamFace 的主要功能进行详细介绍，并探讨其在影视制作、游戏开发等行业的应用前景。
DreamFace 框架概述
DreamFace 框架主要包括三个模块：几何体生成、基于物理的材质扩散生成和动画能力生成。这三个模块相辅相成，共同实现了一种高效而可靠的 3D 生成技术。
几何体生成
几何体生成模块的核心任务是根据文本提示生成与之一致的几何模型。DreamFace 采用了基于 CLIP（Contrastive Language-Image Pre-Training）的选择框架，首先从人脸几何参数空间内随机采样的候选项中选择最佳的粗略几何模型，然后通过隐式扩散模型（LDM）雕刻几何细节，使头部模型更符合文本提示。此外，该框架还支持基于文本提示的发型和颜色生成。
基于物理的材质扩散生成
基于物理的材质扩散生成模块旨在预测与预测几何体和文本提示一致的面部纹理。DreamFace 首先将预先训练的 LDM 在收集的大规模 UV 材质数据集上微调，得到两个 LDM 扩散模型。然后，采用联合训练方案协调两个扩散过程，一个用于直接去噪 UV 纹理贴图，另一个用于监督渲染图像。
为了确保所创建的纹理地图不含有不良特征或照明情况，同时仍保持多样性，设计了一种提示学习策略。团队利用两种方法生成高质量的漫反射贴图：（1）Prompt Tuning。与手工制作的特定领域文本提示不同，DreamFace 将两个特定领域的连续文本提示 Cd 和 Cu 与相应的文本提示结合起来，这将在 U-Net 去噪器训练期间进行优化，以避免不稳定和耗时的手工撰写提示。（2）非面部区域遮罩。LDM 去噪过程将额外地受到非面部区域遮罩的限制，以确保生成的漫反射贴图不含有任何不需要的元素。
最后，通过超分辨率模块生成 4K 基于物理的纹理，以进行高质量渲染。
动画能力生成
DreamFace 生成的模型具备动画能力。通过预测独特的变形，为生成的静息（Neutral）模型赋予动画效果，从而产生个性化的动画。与使用通用 BlendShapes 进行表情控制的方法相比，DreamFace 的神经面部动画方法能够提供更细致的表情细节，并且能够精细地捕捉表演。
应用和展望
DreamFace 框架在名人生成、根据描述生成角色等方面取得了优异的成绩。此外，还支持使用提示和草图进行纹理编辑，实现全局的编辑效果，如老化和化妆。通过进一步结合掩模或草图，可以创建各种效果，如纹身、胡须和胎记。
DreamFace 的渐进式生成框架为解决复杂的 3D 生成任务提供了一种有效的解决方案，有望推动更多类似的研究和技术发展。此外，基于物理的材质扩散生成和动画能力生成将推动 3D 生成技术在影视制作、游戏开发和其他相关行业的应用，让我们拭目以待它在未来的发展和应用。
最新CVPR 2023论文和代码下载
后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer333，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉，已汇集数千人！
▲扫码进星球
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看
微信扫码关注该文公众号作者