logo
Redian新闻
>公众号
>
电影预告一键生成，Midjourney+Gen-2生成视频刷屏了

电影预告一键生成，Midjourney+Gen-2生成视频刷屏了

公众号新闻
机器之能报道
编辑：张倩
任何人都可以注册一个账号免费尝试，生成自己想要的视频。

这几天，很多人的朋友圈都被 9 块 9 生成的 AI 写真 刷了屏。这些写真来自一个名叫「妙鸭相机」的微信小程序，主打一个低门槛、人人可用，而且效果媲美花大几百在照相馆拍的写真，因此俘获了大批网友。


「妙鸭相机」的走红是生成式 AI 技术逐渐破圈的标志性事件，它用一个非常明确的应用场景向大众展示了这些技术的具体能力。与此同时，国内外其他公司也纷纷发力，把手里的技术封装成一个个人人可用的 AIGC 产品，Runway 前几个月发布的 Gen-1、Gen-2 便是其中之一。

和很多文生图类应用不同，Runway 的 Gen-1、Gen-2 挑战的是一项更有难度的事情 —— 视频编辑和生成。其中，Gen-2 不仅可以像 Gen-1 一样在原视频的基础上编辑出符合用户要求的视频，还可以从头生成视频。但遗憾的是，在最初发布时，Gen-2 只能在有限的候补名单中使用。

Gen-1 视频编辑效果。来源：https://twitter.com/runwayml/status/1681335709850824704

Gen-2 视频生成效果。来源：https://twitter.com/javilopen/status/1683493099450793984

不过，这一限制在今天被彻底打破。刚刚，Runway 宣布，Gen-1 和 Gen-2 已经彻底开放，任何人都可以注册一个账号免费尝试。生成的视频长度为 4 秒，每秒消耗 5 个积分，利用免费额度可以生成二十几个视频。如果免费积分耗尽，付费标准为 0.01 美元 / 积分，也就是生成一个视频需要 0.2 美元。


这一限制的解除让已经发布数月的 Gen-2 再度走红，越来越多的人晒出了自己的试用结果。在欣赏网友的大作之前，我们先看看这个应用能做什么。

刷屏的 Gen-2 到底能做什么？

今年 2 月份，Runway 发布了 Gen-1。它的功能非常丰富，包括风格化、故事版、蒙版、渲染、自定义等等。

风格化可以理解为参考某张图像修改视频风格。比如给出以下原始视频：


再给定一张参考图像：


Gen-1 就能将视频编辑成上述图像的风格：


故事版是一个电影学名词，指在影片的实际拍摄或绘制之前，将剧本的文字描述转换成一格一格叙述故事进展的图画。Gen-1 可以将一个类似故事版的视频转换为具有特定场景的视频。


蒙版（mask）可以理解为修改视频中的指定部分，而其他部分保持不变。比如，给定以下原始视频：


然后向 Gen-1 输入文字指令「白毛上有黑点的狗。」我们就可以得到编辑后的视频。


渲染是指将计算机生成的 3D 场景或特效图像转换成最终影像。比如，给定以下原始视频：


Gen-1 可以生成渲染后的视频：


此外，Gen-1 还支持自定义视频编辑：


今年 3 月份发布的 Gen-2 延续了这些功能，可以将图片或文本提示的构图和风格应用于原视频上。同时，它还新增了文字、图片生成视频功能。也就是说，仅需输入文字、图像或文字加图像的描述，Gen-2 即可在很短的时间内生成相关视频。它是市场上第一个公开可用的文本到视频模型。

比如，我们输入一段纯文字：「午后的阳光透过纽约阁楼的窗户照进来。」Gen-2 会直接「脑补」出视频：


输入一张照片 + 文字「低角度镜头：一个男人走在街上，被他周围酒吧的霓虹灯照亮。」


Gen-2 会返回以下结果：


仅输入一张图像，Gen-2 也可以将其扩展为视频：



目前，Runway 已经开放了网页端的免费体验窗口，相关应用（RunwayML）也已经在苹果的应用商店上线。


官网地址：https://research.runwayml.com/gen2


Gen-2+Midjourney = 无限可能

Gen-2 限制的解除让这款应用在社交媒体再次刷屏，网友纷纷晒出了自己的试用效果：

视频来源：https://twitter.com/dr_cintas/status/1683473643462860808

视频来源：https://twitter.com/LiveBetween2B/status/1682477648533151744

还有不少人尝试将此前大火的文生图模型 Midjourney 与 Gen-2 结合在一起使用，生成效果非常惊艳：


视频来源：https://twitter.com/commonstyle/status/1682874851823058946

如何再结合一些语音合成、编辑软件，直接用来制作电影也不是不可能：

视频来源：https://twitter.com/dr_cintas/status/1683473643462860808

有人已经用这些工具做出了一部虚构电影的预告片（利用 Midjourney 生成的图）：

视频来源：https://twitter.com/dr_cintas/status/1683473643462860808

未来，这些工具还有哪些潜力？我们拭目以待。



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章
相关阅读
人手一部「小电影」！视频版Midjourney免费可用，一句话秒生酷炫大片惊呆网友Midjourney、Stable Diffusion 齐更新，最强 AI 画图工具大战｜Hunt Good 周报沪语歌导演消失了！Midjourney+妙鸭相机+Gen2新玩法：10块钱创造马斯克宇宙，一键图生视频GPT-4大杀器谷歌Gemini来袭！26位研发大佬名单曝出，祭出类Midjourney生图能力对话Midjourney创始人：图片只是第一步，AI将彻底改变学习、创意和组织 | GGViewAI绘画之问：Midjourney走上神坛，靠什么赚钱春游Yorkshire四首抒发像相机一样变焦、填充画面细节，还能自定义风格，AI作画神器Midjourney又更新了Midjourney劲敌来了！ 谷歌StyleDrop王牌「定制大师」引爆AI艺术圈（多图预警）Midjourney整大活！1秒生成美国各州建筑图+人物图，这很难评Midjourney 5.2震撼发布！原画生成3D场景，无限缩放无垠宇宙Midjourney最强平替来了！广告大片分分钟直出，网友直呼太逼真Midjourney最新“扩图”玩法：1小时直接出高清大片！视频版Midjourney免费开放，一句话拍大片！网友：上一次这么激动还是上次了全AI生成「芭本海默」病毒式疯转！Midjourney、Gen-2版联手拍成，震撼堪比好莱坞原片视频版Midjourney又进化了：一句话生成视频，谷歌注资，网友大呼好莱坞已死！Midjourney5.2版本开始测试，用文字“画”出图片变得更加简单Midjourney劲敌来了！ 谷歌StyleDrop王牌「定制大师」引爆AI艺术圈 |【经纬低调分享】爆火视频竟不是真人，逼真程度不输Midjourney，创始人数字人亲自上AI 作画神器 Midjourney 又更新了OpenAI祭出绘画神器，Midjourney一夜下台！DALL·E 3联手ChatGPT，无需prompt一笔成神与Midjourney开战！Stable Diffusion XL 0.9重磅发布，35亿+66亿双模型，AI图像生成飞跃式进步Midjourney+Gen2，7步完成「芭本海默」，引Karpathy惊呼｜附实测经验Midjourney更新「摊大饼」功能，瞬间生成「清明上河图」，特写无限平移成全景照对话Midjourney创始人：图片只是第一步，AI将彻底改变学习、创意和组织Midjourney CEO亮相WAIC大会：AI将是下代引擎，公司名源于庄子PS失业警告，文本描述需求，Midjourney新功能一键成图ChatGPT当编剧，Midjourney做画师，这款游戏只用了72小时开发？Amazon/亚马逊公司2023年股东年会公共政策委员会提案国产Midjourney震撼登场！阿里通义万相画出「海底星空」，自研Composer架构立功专访HiDream.ai梅涛：视觉模型还未智能涌现，现在还有机会打造一家超越Midjourney的公司｜年度AI对话生成式3D：等待下一个“Midjourney时刻”《花尾渡》（小说） 第十章 万贯家财总有源
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。