GTA6预告片播放过亿，AI三巨头也能秒变GTA匪帮

2023-12-08 04:12

机器之心专栏

机器之心编辑部

GTA 新出的游戏预告片看了吗？据说，这个预告片已经破了三项吉尼斯世界纪录，观看次数已经破亿。

但如果告诉你，AI 三巨头也可以成为 GTA 里的人物，你还能认出他们吗？

AI 三巨头：Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio。

这张 GTA 风格的合照是腾讯用一个名为 FaceStudio 的 AI 模型合成的，其特点是人物辨识度非常高，把用途广泛的「AI 写真」技术又往前推了一步。

在人工智能技术迅速发展的今天，AI 写真照已经成为 AI 技术应用的一个热门方向。在 AI + 图像应用领域，妙鸭相机等 AI 写真产品已经展示了巨大的潜力和受欢迎程度。妙鸭相机的推出仅仅几周就在社交媒体上引起了广泛关注，其迅猛的增长速度凸显了这一市场的巨大潜力。尽管如此，众多 AI 写真产品在技术上还存在一定的局限性，例如用户需要上传多张差异较大的照片，并且需要等待较长时间才能获得合成效果，这无疑影响了用户体验。

在这个由 AI 主导的图像创新浪潮中，腾讯的最新研究成果 FaceStudio 显现出了更进一步的技术突破。这项研究不仅侧重于快速合成人像，而且更注重于保留人像的身份信息，从而在满足美观需求的同时，还能保持人物的唯一性和识别度。它不仅继承了开源算法 StableDiffusion 的核心优点，还在多个关键功能上进行了创新性改进。其中最引人注目的是其利用混合引导进行图像生成的能力，这一点着重体现在处理多人照片和风格化图像两个方面。

FaceStudio 的核心技术在于其能够在不牺牲个人身份特征的情况下，实现风格化的人物图像合成。传统的 AI 图像合成技术往往在追求视觉美感的同时，会牺牲人物的独特性和识别度。然而，FaceStudio 通过先进的混合引导机制，能够在生成图像时同时考虑文本提示、风格图像和身份图像，从而在保持个体特征的基础上实现多样化的风格转换。这不仅仅是技术上的一大突破，也为用户提供了更加丰富和个性化的图像合成选择。

此外，FaceStudio 独特的多身份交叉注意机制，使其在处理包含多个人物的图像时尤为出色。传统方法在处理此类图像时常常会遇到难以准确区分和维持每个人物特征的问题。但 FaceStudio 的这一机制可以准确地将不同身份的特征信息映射到图像的相应部分，无论是在保持每个人物的独特性，还是在整体风格的协调性上都表现卓越。

FaceStudio 支持多种人脸相关的有趣应用

论文地址：https://arxiv.org/abs/2312.02663
主页地址：https://icoz69.github.io/facestudio/

方法概述

混合引导设计

FaceStudio 的核心特性之一是其混合引导设计。该团队采用了一种独特的方法，允许模型同时接收图像和文本提示，从而生成具有特定身份特征的图像。基于图像提示的引导模块包含两个子模块：

图像引导模块：在这个部分，FaceStudio 使用 CLIP 视觉编码器来处理人类图像。这些图像通常是风格化的，含有丰富的视觉信息，如色彩、纹理和构图等。CLIP 编码器能够从这些图像中提取出复杂的风格特征。
身份识别模块：并行于图像引导模块，腾讯团队还设计了一个身份识别模块，这一模块使用 Arcface 模型来处理单独的面部图像。其主要目的是从面部图像中提取出关键的身份特征，如面部结构、表情和其他独特的生物识别信息。

在提取出风格化图像的视觉特征和面部图像的身份特征之后，这两组特征被融合在一起。这一步骤是通过一个线性层完成的，它将两种特征结合，创建一个综合的引导特征。这种方法的优点在于，它不仅能够保留人物的身份特征，还能够在图像生成过程中融入特定的风格和内容。

除了图像引导，FaceStudio 还集成了文本引导功能。这是通过使用一个预训练好的先验模型（PriorTransformer）实现的。这个先验模型能够将 CLIP 文本特征映射到对应的 CLIP 视觉特征。然后，同图像提示引导模块一样，这些视觉特征结合身份识别模块的特征，形成一个能够响应文本提示的综合引导特征。最终，这两种提示特征被加权融合，实现混合引导。

FaceStudio 的架构示意图

多人图像合成

在腾讯团队开发的 FaceStudio 框架中，“处理多人图像” 部分是一个关键创新，专注于在单个图像中合成多个人物肖像，从而使得每个人物在最终图像中都能保持其独特的身份。面对一个包含多个人物的图像，FaceStudio 采用了一种特殊的注意力机制。该机制确保在图像合成过程中，每个人物区域的特征都只访问与之对应的身份信息。这意味着模型能够精确地控制每个人物的身份特征，确保它们在最终图像中正确呈现。为了实现这种精确的控制，腾讯团队使用了人物实例分割模型。这个模型能够识别出图像中的不同人物，并将每个人物的区域与其对应的身份特征相关联。这样，模型就可以确保在合成图像时，每个人物的身份信息都得到了正确的引导。

FaceStudio 与基线算法的多人图像生成效果对比

训练策略

腾讯团队为 FaceStudio 设计了一种以人类图像重建为目标的训练策略。通过这种方法，他们使用遮盖面部区域的原始图像作为风格化的人类图像输入，同时使用相同图像中裁剪的面部作为身份输入。这样，模型能够在生成引导图像时，更准确地保留人物的身份特征。不同于已有的生成模型训练方式，这种方法只依赖于人像作为训练数据不需要文字标注，大大减轻了对标注数据的依赖。能够更好的泛化到各种风格的人像中。

结果展示

FaceStudio 通过评估人脸相似度和人像生成时间来展现其独特的优势。实验结果显示，FaceStudio 生成单个人像只需要不到 4 秒即可完成，而基于优化的热门算法 DreamBooth 则需要长达 6 分钟。同时 FaceStudio 更好地保留了人像特征，有着更好的人脸相似度。实验结果对比如下：

研究人员也在相同的图像上与当前最佳的人像生成模型算法进行比较。结果显示，FaceStuio 几乎在所有的样本上都达到了更好或者同级别的效果。这进一步展示了 FaceStudio 强大的鲁棒性和泛化性。比较结果如下：

此外，FaceStudo 的实验中还展示了多种独特的人脸图像生成应用，包括身份混合和文字图像混合引导生成。

身份混合图像生成实验

文字图像混合引导图像生成实验

FaceStudio 生成的多风格人像样例。

总结

综上所述，FaceStudio 的出现标志着个性化图像生成领域的重大进展。它在保持人物身份的同时，提供了丰富的风格化和文本驱动的图像生成选项。这种能力不仅对艺术创作和娱乐产业有巨大价值，也可能在广告、数字媒体制作和个性化内容创作等领域发挥重要作用。通过精确控制图像中的身份和风格，FaceStudio 为未来图像生成技术的发展开辟了新的道路，预示着这一领域的创新和变革。

转载请联系本公众号获得授权

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章