Redian新闻
>
特效大神用真人视频一键生成动画,动画师要失业了?

特效大神用真人视频一键生成动画,动画师要失业了?

其他


网友对AI生成图片的各种尝试,比想象中的还要狂暴。
之前把普通照片变成二次元画风的各种AI,大家或多或少都了解过:


又或者是让AI创造一个真实的美女:


不过这些都是静态的图片,有些人则在思考能不能让AI搞出点片子来看。

近期外国知名视频特效团队Corridor就整了一个狠活儿,AI在他们手中要创作的不再是一幅画,而是要让画面组成一个完成的动画。例如下面这个片段,其实就是AI照着真人绘制的:


动画中两位王子进行了了一场惨烈的决斗,而方式竟然是「剪刀石头布」!虽然沙雕,但这画面确实够热血的:


看不出来是AI做的?可以对比一下真人镜头,简直完美同步,无缝切换:

画面干净,表情生动,没有鬼畜,甚至画风还有点经典。就好像是有一个动画团队用画笔照着现实中的人物绘制了一幅幅画面。但其实Corridor仅仅用到了四五个人,而且他们压根也都不会制作动画。


可以想象一下,AI先是让你能从0基础变成画师,现在又有可能变成动画制作者,听起来创作更加轻松自由,这就有点科幻了。


所以,他们到底是怎么做的?


整个步骤简单来说,就是先让真人演一下,然后让AI把真人视频弄成动画版本。当然这个过程说起来容易,做起来复杂。

他们使用的工具是我们之前介绍过的Stable Diffusion,关键词给到AI,根据你添加的模板,它能帮忙生成各种风格的画面。


而想做视频首先要解决的问题,就是画面的不稳定性。

因为每一帧的画面不同,AI生成的画面也会有明显差异。例如之前网友制作的「塞尔达风格侏罗纪公园」,作品已经相当流畅,但依然可以看出人物本身都在飞速变化,发型不断改变。


所以Corridor先尝试在几帧内固定了画面风格,以此来让画面大体稳定住,不要变动得太离谱。

但此时人物风格依然在不断转变,比如每张图中,角色的眼睛大小、画风都会更换,甚至有时候戴眼镜有时候不戴。


为了解决这个问题,就要用到一个固定的模型,统一画风,让AI别想太多。

于是他们用《吸血鬼猎人D》的画面对AI进行训练,使用的截图包括各种面部特写、肢体、身体等等:


这样一来,生成的画面都是以这部动画为基础,眼睛也就不会忽大忽小了。


同时还要解决一个问题,那就是脸部的细节依然不稳定,而处理这个问题的方法,就是同时训练一个演员自己的真人模型。需要演员穿上戏服,然后多角度疯狂拍照,给AI制作素材。


制作团队不仅要给AI锁定了动画的风格,同时也要锁定演员的样貌,大幅度减少生成的图片的随机性。

经过训练的AI也可以生成演员的图像,只不过手指头偶尔还是残缺的。

接着还需要继续训练,用演员的照片生成动画形象,不断迭代,最终才有了比较满意且稳定的动画形象。


在多重训练的加持下,动画的效果也就变得理想了一些,画面的统一性基本稳定下来了:


再用上视频特效技术减少闪烁,画面由此变得更加惊艳,人物的情绪饱满,动作连贯而且流畅:


再加一些漫画特效,你说这是某部动画里剪辑出来的片段都没问题。


接下来他们要给自己的动画设计故事情节与背景:「国王死了,两个王子要用石头剪刀布争夺王位」,这剧情听着都像是AI写的。


技术有了,故事脚本有了,接下来开始正式制作。例如开始配音,虽然没有画面,但几位老哥还是吼到声嘶力竭。


之后就是从网上搞一下服装,两个主演穿上就去拍戏了。


真人视频拍好就交给AI处理画面,同时加入各种细节对画面进行调整。


于是现实中的各种演出,就这样被AI一点点给动画化了。


把绿幕抠掉,人物素材就基本完成


接着还需要制作背景。于是他们直接用虚幻引擎中的素材,从素材中寻找镜头图片:


然后把图喂给AI,再生成一大堆的背景图。


接下来就是对视频的整合与进一步处理,包括镜头、衣服、光线的变化等等。


例如让背景平移,这样镜头看起来像是在旋转,动态感就有了:


人物与背景相结合,最后输出成动画:


在动画中,甚至一些微表情也能对照真人进行还原,眼角的跳动,嘴角的抽搐,真人怎么做,AI就怎么画:


石头剪刀布搞得像是放出了杀招一样,看着又尬又好玩:


这样的制作,已经完全脱离AI画图的感觉了。


这部动画在推出后目前已经有了超过200万的播放量,并引发了激烈讨论。

大多数人的观点再次认为,AI将引发新一轮的革命,要失业的感觉笼罩了不少网友。

但也有人指出,AI的成本并不比画师的工作量小。

首先,Corridor是一个极为专业的特效团队,每个人都能力出众。以前恶搞波士顿动力机器人反杀人类的视频就出自他们之手,当时很多人对此都真假难分。


所以与其说是AI生成得好,不如说他们本身就拍得好,花了两个月才有了动画的精彩演出,普通人想要这样操作还有点遥远。

同时画风也是锁死的,因为他们的动画是根据真人来制作的,所以画风也贴近写实,如果画风再夸张一点效果可能又会变得不理想。


最后争论的就是版权问题,不少画师还是很抵触自己的作品被喂给AI的。

但想要完全脱离画师制作动画也不现实,像是这次的制作就还是使用了《吸血鬼猎人D》的画面进行训练,想让AI完全自己绘制还是两个概念。

对此也有人指出,只要工具好用,动画公司会自己搞定版权,最后受伤的只有普通打工人。


话说回来,我还是对AI的成长充满期待。

生成一张图片,改变图片的风格,生成真人,又把真人变成动画,AI的玩法明显越来越多。过几天说不定语音都不用真人去录制,视频都不再用真人去拍摄。


按照这个进化趋势,以后把一部电视剧喂给AI,说不定也能轻松输出一部动画版本。一想到这里,这下不得不期待了。

(文中图片素材来源自网络)


*今日推荐*

sanag Z50s蓝牙耳机
未来感耳夹设计久戴不累耳
既是实用耳机,也是炫酷耳饰

点击文字即可查看详情




参考资料:

https://twitter.com/t_takasaka

https://www.youtube.com/@Corridor/videos

https://www.youtube.com/watch?v=GVT3WUa-48Y&t=95s

https://www.youtube.com/watch?v=ljBSmQdL_Ow&t=296s

https://www.youtube.com/watch?v=_9LX9HSQkWo&t=3s

https://www.corridordigital.com/                                                                                    https://twitter.com/CorridorDigital

https://twitter.com/CorridorDigital/status/1630330915284197376




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
真要失业了~解药or毒药:AI辅助设计,建筑师要失业了吗?GPT-4刚发布就有手机APP接入,上传照片视频一键解读,还当起了美版知乎的问答bot“全球第二成人网站”改行做教育?玩偶姐姐们要失业了……人工智能ChatGPT当导演,电影人真要失业了?和ChatGPT聊了一下午,感觉我要失业了文字、图片一键生成逼真音效,作者亲自揭秘音频AIGC模型特效大神逼真还原各种史诗级灾难场景…世界末日有画面了!【科技】医生要失业了?ChatGPT几乎通过了医师执照考试!怪异的中国疫情一键生成山川、河流,风格多样,从2D图像中学习生成无限3D场景太可怕,好用到吓人!“感觉要失业了”微软抛出王炸,GPT-4接入Office全家桶!PPT一键生成,又一批打工人要下岗了?10大最有可能“丢饭碗”的职业曝光!我要失业了?!你呢?被日本抢去的13幅绝世书法大摩很多人要失业了感觉自己要失业了...日本特效大佬跳宅舞,跳一次舞,家就少几面墙哇终极科学观与中医效果必然科学完了!老齐可能要失业了!震惊! 600多名Nordstrom员工要失业了,突然关店退货和礼品卡怎么办米粒妈要失业了吗?还不是因为这个女人!不用人工, 3分钟就出餐? 餐饮人也要失业了吗…我用Enscape调夜景灯光调到奔溃,你却告诉我可以一键生成!AIGC一键生成“开放世界”360全景概念图,游戏美术看了直呼画不了?可怕,一个颠覆性新科技ChatGPT来了!十类人要失业了……Should China accept immigrants?浙大北大联合火山语音推出新模型Make-An-Audio,一键生成大片音效so easy!ChatGPT来了,我们都要失业了吗?让三家AI分别写了侦探小说……ChatGPT开始替代主播,“薇娅们”要失业了?又有巨头出手!7800人要失业了这组“长腿美女黑丝照”全网疯传!卖片的福利姬们要失业了……中国大神用AI生成的coser火爆日本,纸片老婆变成真人了码农都要失业了,孩子还要学编程吗?看过ChatGPT创始人的成长经历,答案呼之欲出...一日三餐,藕和鸡胸肉,pasta sauce和虾
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。