Redian新闻
>
照片也能时间旅行?「穿越时空的人脸」新模型化身AI时光机

照片也能时间旅行?「穿越时空的人脸」新模型化身AI时光机

公众号新闻



  新智元报道  

编辑:昕朋
【新智元导读】想知道自己一百年前的照片会长什么样吗?康奈尔大学华裔科学家主导的人工智能框架「穿越时光的人脸」带你踏上时间穿梭之旅!

目前,人工智能和深度学习技术正成为文本-图像生成、超分辨率等应用的重要基础。

现在,人们可以输入图像的高细节描述,从而获得与给定文本相对应的逼真图像。

也可以将一幅图像从低分辨率转为高分辨率,为图片生成一系列生动细节。

神经网络似乎有无穷的能力。那么,这些方法是否能用于时光穿梭呢?

例如,你有没有想过,如果你自己的照片是在五十年或一百年前拍摄的,会是什么样子?如果你最喜欢的男演员或女演员出生在一个与他们完全不同的时代,他们会是什么样子?

时光穿梭第一步:解决数据集难题


鉴于最近StyleGAN在高质量人脸合成和编辑方面的成功,许多工作都集中在使用预先训练好的StyleGAN模型进行人像编辑。

然而,现有的技术通常会处理定义明确的语义属性。例如,添加或删除一个微笑或修改图片中人像的年龄。

这项工作背后的逻辑是保持这些构成一个人身份的属性不变,与此同时,用这辆人工智能的马车送他们回到过去或去往未来。

在这种情况下,人们面对的主要问题是缺乏合适的数据集。众所周知,即使有完美的神经网络模型,数据集仍然是每个人工智能研究者的噩梦。

数据不平衡不充分不可用是深度学习领域常见的问题,会导致数据偏见或结果不准确。

为了克服这个问题,来自康奈尔大学的华裔科学家Eric Ming Chen(左2)主导的研究团队创建了FTT(穿越时光的人脸)数据集。

Chen与来自佐治亚大学的华人科学家Jin Sun等人共同发刊,详细解释了「穿越时光的人脸」数据集的运作原理。

该数据集中的图片来自维基共享资源(Wikimedia Commons)。该平台拥有众包和开放许可的五千万张图片。FTT分析了26,247张19至21世纪的肖像,平均每十年大约有1,900张图片。

GANs父子层次结构,化身AI「时光机」

这些变化是如何实现的呢?

研究团队借助了StyleGAN(生成对抗网络)父子层次结构。特殊之处在于,他们没有选择训练一个涵盖所有年代的单一模型,而是为每十年的图像集添加一个子模型,通过训练模型集更好地综合每个时期的数据分布。

同时,为了保留被描述者的身份和姿势,研究团队采用一个父模型,将这些信息映射到隐空间向量中。

首先,训练一个StyleGAN模型集,每个年代各设置一个,使用对抗性损失和身份损失来训练一张混合人脸图。这张人脸图是子模型的输出,经过修改后,该混合图与父模型的颜色相似。

研究团队提示,在此过程中,有必要避免由于ArcFace(一种流行的面部识别模型)中的特征计算导致的身份损失的不一致性。由于ArcFace模型只在现代图像上训练,研究人员发现它在历史图像上的表现很差。

之后,每张真实图像被投射到十年流形上的一个向量w上(下图中的1960)。在该向量上,生成器G′t被训练来将精细化细节转移到所有的子模型上。最后,在输入图像上应用一个掩码,以鼓励模型保留人像的面部细节。

在微调全部子模型后,研究团队发现,FTT的不同年代的子模型(下图橙色)在发型、妆容发生改变的同时,都成功捕捉到父模型中(下图蓝色)每张图片的人像特征。

这项全新的合成图像框架有两大亮点:首先,它使人像穿越时光的愿望成真;其次,在对人脸进行时光转换时,该技术还能保留人像的大部分细节。

尽管它在数据集中还存在微小偏差(例如,在20世纪初的图像中出现了几个短发的女性),导致输出图像的不一致,但与以前的工作相比,这个模型在真实性上有了很大改善。

「穿越时光的人脸」开启了时光穿梭的第一步。如此高的准确度让人不禁遐想:这次跨越时光的是人像,那么下次呢?

参考资料:

https://www.marktechpost.com/2022/11/09/latest-artificial-intelligence-ai-research-proposes-a-method-to-transform-faces-through-time/

https://facesthroughtime.github.io/



微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
年终礼物:一只奔跑在时光机里的金钱豹只要几十块的衣服,也能时髦感爆棚?!请回答1990:这里有台时光机,一起回去看看吧谭震林杀害红军参谋林野经济不好,John Lewis的低预算圣诞广告片也能刷屏Bottega Veneta 如何造就超越时间的时装与故事人脸神经辐射场的掩码编辑方法NeRFFaceEditing,不会三维建模也能编辑立体人脸聊几句"赵俪生如何评价这25位教授"一文在Dior,赴一场“穿越时空”的旅行动画片也能分级?孩子的英文听说自由,全靠它!海归校服派对重磅登场!BACK TO THE OLD DAYS 逆时光迎新夜暨第27届MiGo海归圈主题舞会,重返青春校园时光!“赚麻了”!90岁乐高如何穿越时代巨浪让全世界狂热简直像“穿越时光”!航班在2023年起飞 却在2022年降落 跨年2次简直赚到暖心!父亲背残疾儿子「穿越美国」带你去看全世界,也让世界看到你JacksDo 特兰克斯时光机:可配SHF比例龙珠人偶!电子游戏时光机玩家:Lafan 与他的古早味电玩收藏|公路商店說三道四(119)慢谈人生的“选择”请接收:穿越时空的隔空投送美国记者笔下的白崇禧和阎锡山(多图)新年赠票!屋顶上的小提琴手登陆温哥华 和家人一起穿越时光重温经典!秋天【资讯】朋友圈照片不能露手指?危险!这七种照片也不应该发复古时光机|PORTS Retro 2.0经典复刻系列重返黄金年代一张不起眼的照片也能说明很多东西穿越时空,为梦想而来!【百年传习·北大梦】北大校友原创音乐会直播在即!Nature封面:「穿越」成真?科学家造出史上首个「虫洞」「穿越」成真?科学家造出史上首个「虫洞」,登Nature封面“百度时光机里,我和爷爷以另一种方式重逢了”“穿越时空:丝绸之路与丝绸之城”国际研讨会成功举办一日一诗:河流曾经在高处 / 曾经站在天空的河流 | 李自国:站在天空的河流老西雅图回家吃饭,在哪能找到西雅图的时光机?周杰伦正版授权手办夜灯,复古麦克风造型文艺浪漫,带你穿越百年时空影视的类型化与文学性真的是二元对立关系吗?为什么宝玑腕表的美,可以穿越时间?跨越时间的湍流
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。