Redian新闻
>
杨幂+小兰会是什么样?中山大学新AI成果,实现人脸个性化SOTA

杨幂+小兰会是什么样?中山大学新AI成果,实现人脸个性化SOTA

公众号新闻
皓楠 投稿自 凹非寺
量子位 | 公众号 QbitAI

只需上传一张照片,就能瞬间变换身份,获得高精度个人写真!

或是科幻电影中的超级英雄,或是穿越时空的复古角色……

李飞飞在家做饭的样子有了,还有让斯嘉丽一键带圣诞帽。

除此之外,杨幂+小兰两位人脸融合在一起会是什么样子?

中山大学、联想的研究团队推出了ConsistentID,可在细粒度多模态面部提示下,仅利用单张参考图像生成多样的肖像,且保持五官的一致性。

最终在人脸个性化任务处理上,相比腾讯的photomaker和小红书的instantID,在五官一致性保持上更具优势

只需单张照片就可快速保留五官细节

ConsistentID框架包括两个关键模块:多模态面部 ID 生成器和ID保存网络。

多模态面部提示生成器由两个基本组件组成:细粒度多模态特征提取器,专注于捕获详细的面部信息,以及用来学习面部ID特征的提取器。

另一方面,ID保存网络同时利用面部文本和视觉提示,通过面部注意力定位策略防止来自不同面部区域的 ID 信息混合。

这种方法确保了面部区域ID一致性的保存。

多模态面部提示生成器

首先在细粒度多模态特征提取器这一模块中,使用了包括文本嵌入、面部嵌入和面部编码器这三个关键组件。需要独立学习细粒度的面部视觉和文本嵌入,并将它们输入到设计的轻量级面部编码器中,以生成细粒度的多模态面部特征。

用于生成细粒度多模态面部特征的面部编码器框架。

面部ID特征提取器

除了细粒度面部特征的输入条件外,我们还将字符的整体 ID 信息注入到我们的 ConsistentID 中作为视觉提示。具体来说,将完整的人脸图像同时输入到两个编码器中进行视觉特征提取。在这两个编码器之后,使用由 IPA-FaceID-Plus 初始化的参数的轻量级投影模块来生成整个图像的人脸嵌入。

ID保存网络。通过引导面部特征的注意力与相应的面部区域对齐来保持局部 ID 特征的一致性。这种优化策略源于观察到传统的交叉注意力图倾向于同时关注整个图像,这对在面部区域生成期间保持 ID 特征提出了挑战。为了解决这个问题,我们在训练期间引入了面部分割掩码,以从面部区域的增强文本交叉注意模块中学习到的注意力分数。

除此之外,研究团队还引入了测量细粒度面部生成数据集 FGID,解决了现有数据集中用于捕获不同身份保留面部细节的局限性。

该数据集包括面部区域和整个面部的面部特征和描述,辅以一种新颖的细粒度身份一致性度量,建立了细粒度面部生成性能的综合评估框架。

具体效果

在面部特征比较上,该方法生成的图像在眼睛、鼻子和嘴巴等面部特征中表现出很强的一致性。

定性评估中,研究团队对目前最先进方法,包括Fastcomposer,IP-Adapter、Photomaker和InstantID进行来比较分析,对每种方法使用默认参数,并将推理限制为单个参考图像。

除此之外,还与Photomaker方法对齐,使用 Mystyle数据集进行定量评估,并结合超过10个身份数据集进行可视化。

最终可以看到,ConsistentID在高质量生成、灵活的可编辑性和强大的身份保真度方面表现出更强大的能力。

而在定量评估中,在大多数评估指标中,ConsistentID始终优于其他方法,并且在生成效率方面超过了其他基于IP-Adapter的方法。

在风格化和动作指令两个特殊任务上的定性比较

试玩链接:
http://consistentid.natapp1.cc/

项目链接:
[1]https://github.com/JackAILab/ConsistentID

[2]https://ssugarwh.github.io/consistentid.github.io/

量子位年度AI主题策划正在征集中!

欢迎投稿专题 一千零一个AI应365行AI落地方案

或与我们分享你在寻找的AI产品,或发现的AI新动向


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 



微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
林斌向中山大学捐款1亿,雷军带富了哪些大佬?喝茶养生助长寿?不一定哦!中山大学研究发现:饮茶量超过这个量,阿尔茨海默症的患病风险增加48%及以上!产品经药明康德实验验证,森美打造高净值个性化营养抗衰科技品牌全面超越DPO:陈丹琦团队提出简单偏好优化SimPO,还炼出最强8B开源模型中山大学杨建华/屈良鹄/李斌团队开发新方法发现新结构型RNA及其调控功能解密: MBA申请需要多少时间? | 制定你的个性化时间线春天 Spring 0001 (Beethoven)大变革!澳洲毕业生工签政策修改,这些要求提高!新西兰会跟吗?加拿大突如其来的高额医疗费用令人压力山大?个性化保障令你安心!重磅突发!这一西方国家宣布征收富人税,高达67%!新西兰会跟进吗?澳加美欧都在收...突如其来的高额医疗费用令人压力山大?个性化保障令你安心!荐书丨中山大学 HCP 实验室专著《多模态大模型》重磅发布满庭芳 · 巴塞罗那平均准确率达96.4%,中山大学&重庆大学开发基于Transformer的单细胞注释方法重磅突发!两大西方国家收紧移民!毫无征兆!NZ总理放话:新西兰会更严!这是全球趋势!手擀面​中山大学陈冠英课题组招收2025级博士/硕士研究生IJCAI 2024 | 多智能体强化学习新范式:个性化训练与蒸馏执行GSB观点|​人工智能可以帮助“个性化”政策惠及合适的人揭秘俩“菲利普斯”双录取的背后:个性化成长路径与申请规划的力量「个性化」图像生成时代来了!六大顶尖高校联手发布全新Gen4Gen框架STTT、PHARMACOL RES 中山大学高国全团队揭示非酒精性脂肪肝病发生发展和阿尔兹海默病的关键调控分子CVPR 2024 | 字节提出视觉基础模型:ViTamin,实现多项SOTA!文末送书 | 中山大学HCP实验室专著《多模态大模型》重磅发布或将改写教科书!Cell重磅:香港中文大学最新研究成果,咽峡炎链球菌感染也可能致胃癌!中山大学和字节发布「视频虚拟试穿」扩散模型VITON-DiT,一键生成换装后视频!小米副董事长林斌及夫人向中山大学捐赠1亿元|首席资讯日报如果能再陪父亲去吃家乡小吃今日arXiv最热联邦学习论文:通信成本降低94%,中科院计算所发布个性化联邦学习方法博士申请 | 中山大学网络空间安全学院苗嘉旭教授招收计算机视觉方向博士/实习生中山大学与联想团队发布 ConsistentID,单张照片即可成为百变超人标注受限也能识别多标签图像!中山大学等发布异构语义转移HST框架 | IJCV 2024控盘2400亿的中山大佬,付不出1亿利息中山大学肿瘤防治中心发表的SCI论文,大数据分析简报(2024)迟春
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。