Redian新闻
>
综艺后期狂喜:编辑一帧,整个视频跟着变!比LNA渲染快5倍,Adobe联合出品

综艺后期狂喜:编辑一帧,整个视频跟着变!比LNA渲染快5倍,Adobe联合出品

公众号新闻
尚恩 发自 凹非寺
量子位 | 公众号 QbitAI

前不久跑男为了让“kunkun”原地消失,后期只能一帧一帧的抠图

现在,只编辑一帧,整个视频就跟着变!

就是点点kunkun,整集就自动消失的那种(手动狗头)。

Adobe Research和英属哥伦比亚大学的研究人员发现,使用INVE(交互式神经视频编辑),只需在单帧上“画笔涂鸦”,就能自动应用改动到整个视频中

不仅可以编辑视频中的对象并保留空间和光影关系,甚至可以编辑移动对象的纹理色彩

网友惊呼:太牛了!

交互式神经视频编辑

INVE(Interactive Neural Video Editing)是一种实时视频编辑解决方案。

研究团队受到分层神经图集(LNA)的研究启发。测试发现,通过使用INVE,可以将稀疏帧编辑一致地传播到整个视频剪辑,辅助视频编辑过程。

视频中的场景通常由非静态背景和一个或多个前景物体组成,运动轨迹也会不同。

早期的2D方法需要独立编辑每一帧,并使用帧间跟踪来协调整个视频。

假如我们要把这个小狗头像放在车门上,按照传统方式,视频中车是往前移动的,为避免不出现溢出效果,就需要一帧一帧训练和测试反复编辑。

这种方式费时费力不说,还容易导致明显的视觉伪影

而最近发展起来的分层神经图集(LNA)方法,可以通过一组分层神经网络2D图集对单个训练和测试,达到编辑整个视频的效果。

虽避免了逐帧编辑,但也有一些问题,比如处理速度较慢、对某些编辑用例支持不足。

因此,研究团队基于LNA方法,通过学习图像图集和图像之间的双向函数映射,并引入矢量化编辑,使得在图集和图像中一致编辑成为可能。

同时,采用多分辨率哈希编码来改善模型的收敛速度。

如何实现

研究团队基于光流提取算法RAFT,在包含70帧且分辨率为768×432的视频上训练和测试模型。

首先,团队在每个训练批次中随机采样了10,000个视频像素,然后设定了一个模型参数值。

通过将GPU优化的Fully Fused MLP架构引入,仅迭代大约12,000个次数就完成训练,相比于LNA的300,000个迭代次数要少得多。

测试显示该方法在单个NVIDIA RTX 4090 GPU上的渲染速度为24.81 FPS,对比LNA的渲染速度5.34 FPS,渲染速度快了近5倍。

经过相同数量的迭代训练,团队模型的重建、流场损失都比LNA更快地收敛。

此外,为实现点跟踪,团队选择逆映射的方法,允许添加跟踪单个/少数点的刚性纹理。

团队提出“矢量化素描技术”,将多边形链直接映射到图集中,更精确地控制线条,从而减少计算成本并避免有视觉伪影。

再通过分层编辑,允许在图集之上叠加多个可编辑图层,使每个图层都可独立访问和编辑。

分层编辑支持多种类型的编辑,包括画笔涂鸦、局部调整、纹理编辑。

比如画笔涂鸦,就可以直接使用画笔工具草图涂鸦。

比如纹理编辑,可以导入外部图形,跟踪和变形的运动对象。

研究团队

作者团队由来自Adobe Research、英属哥伦比亚大学、AI Vector研究所和CIFAR AI组成。

第一作者是Jiahui Huang,目前是Adobe Research的研究工程师,硕士毕业于英属哥伦比亚大学。

其他作者包括Kwang Moo Yi、Oliver Wang和Joon Young Lee,整个团队研究方向主要也是在计算机视觉、机器学习和视频编辑领域。

论文地址已贴,感兴趣的可以去看看。

论文传送门 :
https://arxiv.org/abs/2307.07663

参考链接:
[1]https://twitter.com/_akhaliq/status/1681162394393886720/
[2]https://gabriel-huang.github.io/inve/

「AIGC+垂直领域社群」

招募中!

欢迎关注AIGC的伙伴们加入AIGC+垂直领域社群,一起学习、探索、创新AIGC!

请备注您想加入的垂直领域「教育」或「广告营销」,加入AIGC人才社群请备注「人才」&「姓名-公司-职位」。


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
《小红书之城》走红,互联网用户报告营销逻辑一文get爆火「视频版ControlNet」开源了!靠提示词精准换画风,全华人团队出品多吃此菜,维C是苹果的3倍,锌是猪肝的5倍,只要2块钱一斤!Adobe联创去世,没他就没有PDF,乔布斯也因他逆风翻盘Kmart推出的$5新品数千人点赞!开车族狂喜:解决了大bug笑谈邂逅(3) 一生教语文的张必琨先生行吟集“能消费、敢消费、愿消费”…刚刚,13个部门联合出手,鼓励这个万亿级消费行业,相关股票已大涨为什么Dollarama食品价格比Loblaws便宜一半?Meta被曝明年发布「开源版GPT-4级」全新大模型!参数量比Llama 2大数倍,可免费商用8KHDMI编织线19.9;挂耳咖啡10杯9.9!临期狂促OATLY雪糕10支59纽约球迷狂喜:球王梅西要来啦!就在家门口关于“苦”的清晰解读 | ​十三、苦的法印:被逼迫着变化苦难与坚强!西方联合出手,中国人想获得海外身份越来越难……快手自研模型“快意”开启内测;Arm IPO文件草案遭曝光;Adobe联合创始人去世 | AIoT情报突发!澳洲移民局联合出击,严查签证违规!数百家企业遭查,大量华人持有这类签证意大利蓝蟹泛滥,政府焦头烂额。韩国人狂喜:有螃蟹吃了! ​​​中泰缅老四国警方联合出手!限时领 | B站与美国国家地理联合出品的9.4分史诗级动物记录片!暑假小孩子一定不能错过!100句超地道的英语口语,收藏起来慢慢学(视频跟读)看漫画速记中学3500英语单词!(视频跟读)高盛出品投行Excel教程,留学生狂喜:2天搞定,比学校教得有用高盛官方出品投行Excel教程,留学生狂喜:2天搞定,比学校教得有用蝶恋花 小满“基因编辑第一股”,要火速回A!募资额是前次3.5倍,为增11万平办公面积?满意度100%!加拿大打工人狂喜:每周4天工作制很快能实现!“范丞丞摸空气?跑男后期有多绝!”网友笑疯:综艺版消失的他!1000个句子搞定3600词,果断收藏学习(视频跟读)上海译文出版社招新:编辑、发行、实习生……多个岗位等你报名Adobe联合创始人去世,没他就没有PDF,乔布斯也因他逆风翻盘记我终于鼓起勇气与文学城一位女网友合影留念iPhone 15 系列 USB-C 数据线曝光 / Adobe联合创始人去世 / 董明珠回应格力落榜世界500强西方联合出手,中国人想获得海外身份越来越难【意大利Hilnan&Bellne哈蒙·班尼】4个款式,满足各类穿搭需求随心切换!不锈钢方盆...优质好货开抢!【一日团】女人的不幸, 与什么有关?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。