Redian新闻
>
我与身旁的美女,格格不入,我决定...

我与身旁的美女,格格不入,我决定...

科技

大家好,我是 Jack。

我猜大家一定都有过这种需求,拍照录视频,想 P 掉身边的路人。

就比如我上段时间去拍婚纱照,草坪上站着很多帅哥、美女,但毕竟婚纱照,人多了没那感觉,格格不入,只能全部 P 掉,效果就是这样的:

但你说,这 P 图还好,可以一张一张图,那要是录个 vlog,一帧一帧能抠到“吐血”吧。

当然,如果有包场的“钞”能力,这都不是事。

囊中羞涩,算法来凑。

今天给大家介绍一篇 CVPR 2022 的论文,E2FGVI 算法帮你搞定 P 视频这件事,上演人像消失术

我们先看下效果:




因为图片不能放太大的,动图有些压缩模糊,但是不影响算法的直观效果。

除了去掉 Mask 上的人,还能去水印。

填补缺失的部分。

处理视频的高分辨率画质,也不在话下。

E2FGVI

E2FGVI 主要分为三个模块:

  • flow completion:光流预测,说白了就是看下mask目标,怎么运动,往哪边运动。
  • feature propagation:特征工程,利用局部、全局特征,对空洞的区域进行补充。前景的物体移动了,背景有空洞,先用这些特征进行一个初步填充。
  • content hallucination:使用特征填充后,还会有一些确实的部分,再用 inpainting 网络优化。

整体大概,就是这么个思路。

万变不离其宗,很多算法虽然应用的领域不同,但是用到的思想都是类似的,比如上两天我讲解过的  Image Animation 算法。

该死,这糟糕的心动感

项目部署

算法已开源:

项目地址:

https://github.com/MCG-NKU/E2FGVI

首先需要搭建开发环境,这里还是建议使用 Anaconda,安装一些必要的第三方库。

如果想手把手的视频教程,可以看我上段时间发布的视频:

https://www.bilibili.com/video/BV14R4y1g7qs

这个工程没有提供 requirements.txt 的依赖说明,不过提供了 environment.yml 文件。

我们使用如下指令,可以创建一个能运行这个算法的虚拟环境:

conda env create -f environment.yml
conda activate e2fgvi

这个项目用的是 OpenMMLab 的工具箱,除了配置基础的环境,还需要安装 OpenMMLab,这里可以直接使用官方教程进行安装:

https://github.com/open-mmlab/mmcv/blob/master/README_zh-CN.md

配置好环境,下载权重文件,放到 release_model 目录下即可。

项目已经提供了谷歌网盘和百度网盘的下载链接,想要试试效果的小伙伴,可以用他们提供的链接下载权重文件。

算法需要提供一个原始图片 or 视频,以及图片 mask or 视频 mask。

# The first example (using split video frames)
python test.py --model e2fgvi (or e2fgvi_hq) --video examples/tennis --mask examples/tennis_mask  --ckpt release_model/E2FGVI-CVPR22.pth (or release_model/E2FGVI-HQ-CVPR22.pth)
# The second example (using mp4 format video)
python test.py --model e2fgvi (or e2fgvi_hq) --video examples/schoolgirls.mp4 --mask examples/schoolgirls_mask  --ckpt release_model/E2FGVI-CVPR22.pth (or release_model/E2FGVI-HQ-CVPR22.pth)

mask 就是将你想去掉的人、动物选上,做个 mask 图片或视频。

左侧绿色的框框,就是 mask 的结果。

这里呢,可以再加个实例分割算法,想 mask 什么目标,就 mask 什么目标,再配合这个 E2FGVI 效果应该还不错。

感兴趣的小伙伴,可以试一试。

我是 Jack,我们下期见~

·················END·················

推荐阅读

•   只有想不到,没有做不到的超强AI•   这口青春饭,我干了•   浙大小姐姐,真有你的

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
“27岁,我决定先回家养老。”当女性决定活在「自我时钟」里,会发生什么?人生过半,当我决定为自己而活,我终于迎来了人生的闪光推荐意大利黑帮剧集Gomorrah我与身边朋友们和冲浪的故事 | PH分享#64自我与家庭的平衡,是追求理想生活的前提 | 人间日签收购被迫终止,格力电器今年还有望反转吗?真事!高富帅疯狂倒追1450斤重的美女,花钱投食养肥她!娃都生了俩!全家鼓励她每天吃吃吃!看完也是惊呆了。。。四字花是被格格陷害的?摩羯鱼 --- 我与众神的爱恨情仇阅读思考,改变人生:我与学生的对话,望能给你醍醐灌顶的启示忆秦娥: 飞扬柳絮飘如雪夏志宏:我与中国传统医学【本周讲座报名】《暑期学业与身份必知》两个女人—转载吃了99元100只的小龙虾,我决定再爱它一次光天化日之下,波士顿Park St地铁站旁的繁忙十字路口发生枪击,嫌疑人在逃!罗诉韦德案被推翻后,重新思考左翼,性别与身份政治秋收暴动和毛泽东的“三湾子弟”书法史上的“她们”男孩下河救狗溺亡,我决定尽快和孩子谈谈“见义勇为”这件事在跟着刘畊宏跳了三天健身操后,我与自己和解了2022,我决定不再鸡自己备战小升初到最后,我决定“躺平”因为不敢拒绝别人,我决定「远离人群」这张失败的照片,我决定不删了厚德载物,格物致知-海投公益支持华人传统文化教育线上访谈 - 美食、文化与身份认同之间的关联我与厨房的爱恨情仇特朗普:我决定了关于入不入籍澳洲,我好纠结,大家怎么看何新 | 旧事杂忆:我与训诂学我决定在忘记女儿名字的那天自杀……她是晚清「最美格格」,两次订婚失败,一生未嫁晚年凄苦,都是因为溥仪?俄移民在美的想法,连岳的语言与身体如果《还珠格格》晚拍20年,你还会看吗?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。