Redian新闻
>
从视频合成到配乐剪辑,全由AI操刀完成:首部AI科幻电影《创世纪》预告片震撼登场

从视频合成到配乐剪辑,全由AI操刀完成:首部AI科幻电影《创世纪》预告片震撼登场

公众号新闻

机器之心报道

编辑:杜伟、泽文
让我们看看,AI眼中的科幻电影《创世纪》是怎样的?


最近两天,一则时长不到一分钟的科幻电影预告片《Trailer: Genesis》(《创世纪》)在社交媒体上火了起来。


是不是很科幻呢?更「科幻」的是,从图像视频合成、音乐到剪辑,所有一切都是由 AI 完成的

制作者 Nicolas Neubert 列出了对应的 AI 工具,其中 Midjourney 处理图像、Runway 处理视频、Pixabay 处理音乐、CapCut 剪辑视频

Midjourney 是大家熟悉的 AI 绘图神器,目前已经更新到了 5.2 版本。Runway 是基于 AI 的视频制作生成工具,目前 Gen-2 已经开启免费试用。CapCut 剪辑工具对所有人免费,不过也可以选择在 Adobe Premier 或 Final Cut Pro 中剪辑。

推特 @iamneubert

据了解,Neubert 花了 7 个小时,Midjourney 生成了 316 条提示、放大了 128 张图像,Runway 生成了 310 个视频,还有一个带有文本的视频,预告片中共使用了 44 个视频。

今天,Neubert 更是撰写了一篇长文,详细介绍了《创世纪》的制作过程,包含了具体流程、如何使用上述 AI 工具。我们一一来看。


关于电影想法,他表示自己反乌托邦主题的想法来自自己看过的几部电影,并以它们为基础编写了一个故事。

正式制作的第一步是构建世界和故事

对于预告片《创世纪》的故事情节,Neubert 想一步步地增强紧张感。因此定义了以下 3 个阶段:

  1. 设置场景
  2. 引入威胁
  3. CTA 中的高潮

具体地讲,Neubert 先制作预告片的第一个文案草稿,包括「分享一切、承担后果然后呼吁人类采取行动」。

这样定义了整体基调后,他开始围绕这些主题生成相应的场景。Neubert 滚动了大量有关环境、军事科技、战斗主题的人类和科幻剪辑,然后从中收集到一个故事。

同时为了增加一些深度,他添加了三个带有发光护身符的孩子的镜头,暗示了更深层次的故事情节。


第二步是在 Midjourney 中生成连续的图像

这里要特别注意提示(prompt)。Neubert 对自己在以往帖子中获得的稳定提示进行了优化,创建了一个模板,这样在预告片的每个镜头中都能重复使用它。模板如下:

___________,星球大战、风格为精细的人群场景、朴实的自然主义、青色和黄色、寒霜朋克、室内场景、cinestill 50d—ar 21:9— 原始风格


对于每个场景,他都会用自己想要的场景来填补空白,确保其他 tokens 最大限度地保持主题、颜色和照明的连贯性。

此外利用强变化(Strong Variations)功能,使得更容易创建不同的场景,同时保留之前的调色板。女战士的场景可以转变为普通公民、网络黑客或战斗的场景,无需生成新的提示。


第三步是在 Runway 中生成动画图像

Neubert 发现这一步是最简单的。在设置上,他总是尝试激活放大(Upscaled)模式。不过该模式常常遇到面部问题,所以针对人物镜头,他通常使用标准质量。

值得注意的是,他没有使用文字提示与图像提示相结合的方式,而是拖放一张图像并重新生成它,直到得到自己满意的结果。

最后一步是在 CapCut 后期剪辑

在 Midjourney 和 Runway 生成输出的同时,Neubert 首先放置自己知道将发挥重要作用的关键场景。就预告片而言,他认为外景镜头将成为开场。

接着开始计划文本。当根据音乐来定位文本时,时间轴中没有任何剪辑,这是有可能的。他在不到一个小时的时间里就按照时间线编好了内容并定了位。这对生成图像很有帮助,你需要一个额外的固定点来考虑仍然缺少了哪些场景。

具体的步骤变得很简单,生成剪辑→ 将它们拉入 CapCut → 放置在时间轴上,然后慢慢拼凑故事。他还对 2 到 3 个编辑包进行了颜色匹配,让它们看起来更像宏大的电影场景。

使用 CapCut 唯一需要的技巧是对剪辑进行节拍的同步。当音乐中出现「BWAAA」时,他总是尝试连接剪辑内的动作或者排列后面的剪辑。这会令整个序列更有身临其境的感觉。

此外 Neubert 还考虑了如何在剪辑中加入大量的动作。这里他使用了两个技巧来增加动作。


第一个技巧:Runway 会接收一张图像,然后根据模型计算哪些部分应该进行动画处理。他对这个思路进行了逆向工程,尝试在 Midjourney 中输出暗示运动的图像。这意味着可以在镜头中加入运动模糊或者可以捕捉移动头部或人物的静止图像。

第二个技巧:当你分析 Runway 视频时会发现在 4 秒剪辑中,场景经常发生很大的变化。因此在预告片场景中,他只使用了完整的 4 秒剪辑两次。所有其他剪辑的长度均为 0.5-2 秒,并将剪辑的速度提高了 1.5- 3 倍。这样做的原因是,作为观看者,你只能看到时间很短的剪辑,因而会在场景中感知到更多运动,本质上是快进了该部分。

一番操作下来,最终呈现出给大家的就是开头的那个震撼的《创世纪》预告片。该预告片也得到盛赞,有人表示,这是自己至今为止看过的最好的 Runway 生成视频。


其实,在 Runway Gen-2 可以免费试用后,不少网友大开脑洞,将它与 Midjourney 结合起来,大胆创作。

Midjourney+Runway:神奇的 AI 创作工具组合

这里与大家分享一些其他的生成用例。

Runway 对与人物动作细节的把握也是较为准确的。在网友申城的视频中可以看到,人物眼睛的细节让动态视频更加传神,也可以说了平添了几分「演技」。

来源:https://twitter.com/OrctonAI/status/1682420932818661378

图片动起来之后,人与马在夜色中的动作十分自然,对于人物,甚至后续动作的想象空间也有了更大留白。

来源:https://twitter.com/OrctonAI/status/1682420932818661378

Midjourney 与 Runway 的组合看起来很是无敌,在人物关键动作上能刻画出适当的故事感。


推特:@ai_insight1

还有一些变化更加丰富,也更具创意的生成结果。

推特 @kkuldar

推特:@Akashi30eth

也有网友利用一系列 AI 工具生成视频短片,可是结果似乎不尽人意。

推特用户 @nickfloats 使用 ChatGPT 撰写脚本、Midjourney 生成图像、Runway 生成视频、Triniti 生成音乐、Eleven Labs AI 配音,剪辑就将其简单的拼接在一起,不做其他调整。

ChatGPT 撰写的脚本

网友记录了自己制作的全过程,想看看全程使用 AI 制作广告短片需要多久。


在经过 45 分钟之后,成片出来了,它的效果如何?


这名网友对这个短片成果的评价是 「The ad sucks」。这广告中,人物的动作僵硬,画面的逻辑关系不强,整体也很难凸显出想要表达的主题。AI 的通力合作似乎并没有出现惊喜,反而是「惊吓」更多一些。

与《创世纪》相比,这个广告短片时长是它的一半,但是用时极少。其中最大的差异就是人类参与的细节。它没有仔细斟酌后的主题、追求连贯的不断调整以及对细节的高要求。

如果只让 AI 来参与,或是只根据 AI 的生成来产出作品,显然还不能够由高质量的成果。人类对它们的应用和调整似乎才能体现这些工具的真正价值。


「Llama 2 大模型算法与应用实践」——机器之心 AI 技术论坛来了!
8月26日,与资深大模型技术专家一起相聚北京,拆解 Llama 2 算法与应用,动手搭建一个私有大模型。
论坛为期 1 天,内容包括 Llama 2 算法解读、基于 Llama 2 开发中文大模型、Llama 2 案例解读和应用实践等。通过本场分享,你将系统了解到 Llama 2 背后的技术以及潜在的应用场景,为即将到来的「大模型安卓时代」做好准备。

售票通道已开启,机器之心为读者朋友准备了「早鸟优惠」,赶快扫描下图二维码领取限时福利吧!


© THE END 
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
《海王2》首曝预告;李鸿其首部导演作品威尼斯电影节获奖再投八个亿,谱写新篇章英国突发巨变!他辞职了!哈里新纪录片震撼来袭,又曝猛料?如何能够战无不胜?现在的好莱坞,为什么流行拍2小时“大型电影预告片”?【直播预告】如何用创业者思维经营人生?|对话《创变思维》作者诺姆·沃瑟曼三十一 插秧据说99%的人,听了他的电影配乐会起鸡皮疙瘩!抖音影视剧剪辑,每天能赚好几千破局之作:首部开源 AIGC 软件工程应用电子书《构筑大语言模型应用:应用开发与架构设计》喜报 |Nature:首次完成人类Y染色体的完整基因测序、阿尔法分子科技宣布完成A轮融资听任长箴老师教你剪辑技巧:剪辑就是一场排兵布阵短视频预告片,把多少人“骗”进了电影院?史上最强Windows震撼登场:Copilot全面接入,日常AI伴侣正式到来!华裔青年说丨陈诗雨:在好莱坞做电影配乐,是一种什么体验?​徐浩峰新片《门前宝地》预告;万玛才旦《雪豹》入围多伦多电影节国产Midjourney震撼登场!阿里通义万相画出「海底星空」,自研Composer架构立功三十二 肃反《性教育》最终季发布预告;舒克贝塔首部大电影定档5082 血壮山河之武汉会战 黄广战役 14一生必看、影史封神的经典科幻电影们!电影配乐顶级解决方案:莫里康内电影音乐大师班!海德公园音乐节再掀狂潮!BLACKPINK震撼登场,创造历史!科幻电影天花板,塔可夫斯基的《潜行者》究竟讲了一个什么故事?《哈利•波特》《加勒比海盗》《指环王》,奇幻电影二十年比科幻更科幻的,是写科幻的作者叫梁启超这些牛B的电影配乐,你最喜欢哪一首?电影《长安三万里》终极预告;DC新超人电影公布演员阵容建了个手机剪辑交流群!免费教手机剪辑,速进!(禁止外传)电影《孤注一掷》震撼来袭,定于8月31日在新西兰隆重上映!AI版《流浪地球3》预告片流出,郭帆亲自转发(手动狗头)从视觉装备到智能驾驶,天准科技能否打造第二增长极?技术造不出故事,喜剧突破边界,电影工业3.0时代,科幻电影再出发一个希望帮你解决从买入到卖出,从选基到配置的组合云南的这些美食,从视觉上就能征服你
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。