快手可灵终于用上了,我们和国内首部 AIGC 奇幻短剧导演聊了聊:AI 视频不再是动态 PPT公众号新闻2024-07-09 12:07最近,AI 生成视频以意想不到的方式刷屏国内外的社交媒体:「复活」名画、爆改表情包、「修复」老照片......多半离不开一个国产 AI——快手旗下的可灵。前两天,可灵又进行了一次重磅更新,不仅有了网页版,还有了更多可控的新功能。刚结束不久的上海世界人工智能大会上,快手提到:可灵超 50 万人申请,已开放给超 30 万用户使用。国内用户等通过,海外网友也在评论区追问:什么时候支持英语?什么时候支持其他国家的电话号码?什么时候给我访问权限?而我们想问的是,除了「表情包神器」,可灵还能是什么?「表情包神器」网页版上新!更可控、更高清、更好玩先来看看可灵的具体更新细节。7 月 6 日,可灵上线了网页版,同时支持文生视频和图生视频,并带来了更多新功能:高表现模式、首尾帧控制、运镜控制、更长的单次视频生成时长。高表现模式,比起高性能模式,画面质量更佳,不过每天只能生成 3 次。高表现模式生成的视频,甚至可以比原图更高清。当我们上传「强颜欢笑老爷爷」表情包,输入提示词「老爷爷拿起杯子喝茶」,选择高表现模式,AI 不仅让老爷爷喝上了茶,人的清晰度也从 360P 到 480P 了。然后到首尾帧控制,可以理解为,上传两张图,AI 补全中间的运动过程。我们选择了两张高司令的剧照,一张出自《芭比》,一张出自《爱乐之城》,风格相差较大,但主体是同一个人,且构图类似,没给提示词,全凭 AI 发挥创意,怎么把这两张图联系起来。结果,AI 理解的方式和我们不一样,转场不是根据人,而是根据场景来的,给《芭比》的图片补充了类似《爱乐之城》的背景植物,两个高司令的表情也做了过渡。这个一秒变脸真的很好笑!接下来是运镜控制,用户可以指定水平、垂直、拉远、推进等运动方式,但只在文生视频时可选择。我们采取了控制变量法,使用的基本提示词如下:「一个身穿红色连衣裙、戴墨镜的短发女人,正走在东京夜晚的街道上。镜头从地面开始,逐渐上移,聚焦到她的面部。」只用提示词,没有设置运镜,镜头上移的感觉不太明显。没有设置运镜相同的提示词,再加上运镜方式里的「大师运镜:推进上移」,运镜是更好了,但顾此失彼,人体也更怪异了,而且没有符合提示词里的「走」。设置了推进上移运镜至于更长的单次视频时长,就比较好理解了,从 5 秒延长到了 10 秒,可以再结合视频延长功能使用。好消息是,只要有体验资格,所有功能限时免费。坏消息是,有些功能无法兼顾,比如,图生视频暂不支持运镜控制和生成 10 秒,高性能模式暂不支持生成 10 秒,生成 10 秒时暂不支持运镜控制......但总体来说,可灵有了网页端之后,创作变得更方便了,功能也比 app 更多了。如果是在手机上,暂不支持首尾帧控制和运镜控制。可以看出,快手做 AI 的方向很明确,不像 Sora 那样拿 Demo 画饼,让大众用起来,找到 AI 与生活的结合点,才是更有温度也更落地的。接下来,又可以期待一波船新的爆改表情包。AI 短剧导演:AI 视频不再是动态 PPT 了「好玩」「生成速度比较快」,是普通用户对于可灵的第一印象。但对于专业的人来说,可灵是实用的创作工具吗?为了听到行业内部的声音,我们找到了一位 AI 创作者:闲人一坤。他身上兼具两个身份。20 多年前,他入行传统影视行业,担任过《这就是街舞》总监制、《跨界冰雪王》执行总导演。从 2023 年下半年开始,他成为狂热的 AI 玩家,是 PixVerse、Runway、Pika 超级合作者,也是最早使用可灵的一批人。他的团队和可灵合作的国内首部 AIGC 原创奇幻短剧《山海奇镜之劈波斩浪》,以《山海经》为蓝本,7 月 6 日发布了预告片,正片也即将发布。在这个等待开花结果的时间点,我们和他聊了聊,关于 AI 短剧的创作过程、AI 影视制作和传统影视制作的区别,以及那些人类无法被 AI 替代的地方。Q:为什么选择用 AI 制作玄幻题材?A:AI 影视在发展的前期,能和传统影视 PK 的地方,一定是传统影视当中的痛点。我认为两个赛道有痛点,一个是玄幻,一个是科幻,都需要大量的资金投入和后期制作。AI 可以把这两个方面都缩减。如果说,AI 缩短了 2/3 的制作周期,成本缩减到原来的 1/4,达到原来效果的百分之七八十,那么它就会变成一个可选项。但我拿 AI 做类似《人世间》的作品,就是用 AI 影视的短板挑战传统影视的长板。为什么我没选科幻?科幻仍然需要一定的理解成本,但哪怕是农村的老人,你和他说孙悟空是从石头里蹦出来的,他也会很欣然地认同。玄幻根植在我们文化的基因当中,不需要解释,所以我一开始会选择这个赛道。Q:《山海奇镜之劈波斩浪》的制作过程和工期?A:文生图的阶段用的是 Midjourney,图生视频的阶段基本都用可灵,音乐也是 AI 做的,剪辑没有 AI 的参与,走传统的流程,用 Final Cut 剪,不是说一个 AI 就全都解决了。可灵没有出来之前,我们用其他 AI 工具完成了一版预告片,但和可灵团队沟通了之后,又在图片到视频的阶段进行了重制。《山海奇镜之劈波斩浪》 2 分半左右一集,5 集是一个系列故事,加起来十多分钟。在这个体量下,光是重制,包括剪辑,花了 10 天左右的时间,算是非常非常快的了。Q:基本都是图生视频吗?A:我们所有商业化交付的片子,几乎全都是图生视频,因为文生视频还做不到,包括可灵的技术也不行。文生视频没有镜头和镜头之间的连续,比如眼睛的大小,你不通过图片,直接文字到视频,是控制不了的。AI 生成的原理,就是一个黑盒,不是白盒。什么是白盒?照相机能通过控制光圈、快门、白平衡,达到高度可控的画面效果,我能控制所有的元素。但黑盒,我们现在常说的一个词是「抽卡」,图片阶段我们尽量做到人物的一致性,然后在图片驱动视频的阶段再去选择,最后出来的一致性效果比较好。某些卖课的不良商家吹嘘什么一句话就当导演,它其实是不存在的,没那么简单。如果真这么简单,我们就算诈骗了。Q:创作人员还是按照一个传统的剧组来安排吗?A:远远没有那么多人。以前玄幻题材的这么一个片子,100 人可能是比较轻松的人数,但我们现在也就十多个人,少了 10 倍了。单纯看降本增效的话,是非常非常明显的。Q:刚才说到剪辑还是人工,剪辑花的时间占比有多少?A:还是比较长的。我觉得在影视制作当中,目前还有很多的环节是不可以被 AI 化的。比如剧本的创作、后期的剪辑、影视化表演类型的配音,短时间内都不会被取代掉。还有一个,整个链条最后被取代的工种——导演,像我这样的,掌控全局的人,生发想法的人。这几个工种,涉及到很多人类的主观创作。光是《山海奇镜之劈波斩浪》的本子,我就磨了近两个月,当时其实还没有确定部署平台,快手找到我们,一个是看到我们有制作能力,一个是剧本已经 ready 了。那时候 Sora 刚发布,炒得比较热,各家都在寻找,谁有这样的能力,谁能做这件事情。闲人一坤团队今年 1 月的 AI 概念片我们在抖音、快手可以看到很多 AI 配音,但它只适合简单的短视频,没有什么情绪,或者单纯的搞笑,一旦涉及到人物表演,那就很难了。剪辑也是一样的,剪一个访谈,谁说话剪谁,现在有很多 AI 剪辑软件可以实现。但是当你需要去捋一条故事线,当你需要去面临很多选择,就不是一个严格的 1+1=2 的过程。你把一个片子给两个剪辑师,剪出来的东西一定是不一样的,没有标准答案。Q:假设出现可能替代人类剪辑师的 AI 了,你愿意尝试吗?A:会啊。当然会尝试。我并不排斥,所有的新技术我一定都会先去尝试。之前我们的 AI 片子是真人配乐,这次就已经是 AI 配乐了。但凡能够达到我的要求,我一定会用 AI,不用 AI,是因为还达不到我的要求。Q:从目前来看,传统影视和 AI 影视的总体差别是怎样的?A:AI 影视在资金投入体量、制作周期方面,一定会有优势。目前,AI 影视远远没有达到或者超过传统影视的效果。现在任何一个可灵生成的视频,给我足够多的钱和时间,我都可以通过传统影视复现,但传统影视的很多镜头和效果,在可灵当中不一定能够复现。之前在传统影视,我们做过一个虚拟的场景,是在空中漂浮的一个岛,光做这一个岛,一家大的电影特效公司给我们做了大概两个月。但从另一个角度去评判,这个岛可以实现任意角度的拍摄,怎样都不会穿帮,可以实现一年四季的各种变化,上面还可以有各种花木,调整的空间非常大。所以,AI 可能可以达到传统影视百分之七八十的效果,准确性和一致性没有那么高,但是对效率的提升和成本的降低是巨大的。Q:你在发布《山海奇镜之劈波斩浪》预告片时写道,这个片子不再是动态 PPT 了,为什么这么说?A:之前我们看 AI 视频,为什么觉得像动态 PPT?因为人物动作、幅度、流畅性都会有问题,像慢动作一样,微微地动,这是所有 AI 视频工具都有的问题。但可灵的运动幅度、运动合理性、人物推理,都不再是简单的二维动作,而是整体的三维推演。比如,《山海奇镜之劈波斩浪》预告片有个非常标志性的镜头,片尾时水神共工从山里挣脱而出,然后站起来,用别的软件是比较难生成出来的。Q:AI 生成视频工具似乎存在共识,可灵的首尾帧控制,Luma 之前也推出了,可灵的运镜控制,Runway 去年就有,都是让生成过程更可控,未来,AI 生成视频还会怎么发展?A:一定是更加可控、更加精准。一个是镜头运动的控制,拿可灵当前的版本来说,希望能够更快开放图生视频的运镜控制,文生视频已经有了。还有一个是画面内的控制,Pixverse 有 Magic Brush, Runway 有 Motion Brush,一个是画箭头,一个是设置 xyz 轴的参数,笔刷圈定画面当中的某个区域,告诉大模型希望它能够怎样运动,但现在可灵只能通过提示词控制。比如树上有三只小鸟,左边的向左转头,中间的向上抬头,右边的向右转头,用提示词控制的话,不能那么精准,但用 Magic Brush 或者 Motion Brush,相对比较容易实现。体验过可灵,以及和创作者交流过,我们能够比较明显地感觉到,目前的 AI 工具纵然不完美,但已经能够作为工作流的一部分。最近,有一个 MV 在 X 很火,人物的一致性保持得极好,甚至有网友怀疑:不像是 AI 做的。创作者 X@Arata_Fukoe 列出了以下工具,然后谦虚地说人物颗粒感还是有些明显。音乐:ChatGPT、Suno AI视频:Dream Machine、Runway Gen-3、可灵图片:Midjourney、Stable Diffusion剪辑:Ps、Ae不神化 AI,不抗拒 AI,思考如何使用 AI。在 AI 面前,人类的审美、剪辑、创意,仍然闪闪发光。创作者会评判,这个用 AI 完成的部分,能不能达到自己的要求。而作为观众,我们也能够直观地感觉到,作品背后的人,是否有热情地把 AI 作为工具,传达他的信念和追求。微信扫码关注该文公众号作者戳这里提交新闻线索和高质量文章给我们。来源: qq点击查看作者最近其他文章