Redian新闻
>
Stable Diffusion又出大招!「文生动画」震撼发布淘汰导演,DC英雄一秒变身

Stable Diffusion又出大招!「文生动画」震撼发布淘汰导演,DC英雄一秒变身

公众号新闻



  新智元报道  

编辑:Aeneas 润
【新智元导读】Stability AI又来卷了AI视觉圈了!Stable Animation震撼发布,动画效果令人惊叹。

Stability AI又放大招!
现在,Stable Diffusion也能生成视频了。AI届,实在是太卷了。
昨天,Stability AI发布了一款专为艺术家和开发人员设计的工具——Stable Animation SDK。用户可以通过多种方式创建令人惊叹的动画效果。
此前,Runway的Gen-2就相当炸裂,宣传词非常霸气——「say it,see it」。
现在,Stability AI也有比肩Gen-2的视频生成工具了!
Stable Diffusion能做视频了

借助Stability AI的动画端点,美术师可以使用所有Stable Difusion模型来生成动画,包括Stable Diffusion 2.0和Stable Diffusion XL。

不过,有别于之前发布的开源模型,Stable Animation目前仅能通过SDK和付费API使用。
现在,用这三种方式,都可以创建动画了——
  • 经典的prompt
就像使用Stable Diffusion、Midjourney或DALL-E 2一样,用文本生成动画。
输入prompt,调整各种参数,就能生成动画。
  • prompt+图像
提供一个初始图像,作为动画的基础。之后,结合prompt和这个初始图像,就能生成最终输出的动画。
  • prompt+视频
提供一个初始视频,作为动画的基础。同样,通过各种参数的调整,外加prompt的引导,最终得到输出的动画。

1块钱,就能生成100帧动画

该软件似乎仍处于测试阶段。Stability AI并没有通过他们的浏览器平台(如DreamStudio或ClipDrop)提供,而是仅提供软件开发套件(SDK)和付费API。

当然,这并不妨碍第三方通过服务提供这种动画模型。
不过,目前想试用这个功能的话,门槛还比较高,因为SDK和API要通过Python脚本来调用。
与Stability AI的图像模型类似,Stable Animation也可以设置许多参数,例如step、sampler、scale或seed。此外,还提供了诸如outpainting或prompt interpolation等功能。
不同的参数也会影响价格。所以创建一个视频要花费多少钱,并不确定。
Stability给出的报价范围是,在不同设置下,每100帧的价格从3美分到18美分不等。
Stability AI以输出动画的积分值作为收费的依据,用户生成的动画会被换算成一个积分,每1000个积分消耗1美元。
小编算了一下,根据官方公布的积分计算方法,一块钱人民币大概能生成一段100帧的1024*1024分辨率的动画。
但是其他的参数也会影响价格,官方给了一个表来说明支持调整的参数,以及是否会影响到生成动画的价格。

与Stable Diffuision XL兼容

Stable Animation可以与每个版本的Stable Diffusion结合使用。

它的默认版本是1.5,但我们也可以选择使用新版的Stable Diffusion XL。
里面有很多样板,包括动漫、漫画书、低多边形、像素艺术。
原始分辨率是512 x 512像素,可以增加到1,024 x 1,024像素。此外,可以使用升频器。
Stable Animation的默认值是72 帧(12帧每秒),但根据说明,它可以增加到无穷大。
此前,Stability AI就已经有了基于Stable Diffusion的动画工具,比如,我们可以通过prompt interpolation(不断改变prompt的某些属性)生成一小段动图。
这次的升级的不同之处在于,table Animation生成视频的能力更全面、更成熟。
虽然现在,AI还没进化到让我们按个按钮就能生成电影,但Stable Animation、Runway ML、Phenaki、Imagen Video等模型的超强进化,已经预示了视觉生成AI的视频生成功能,会越来越惊艳。

网友实测

Stable Animation一发布,网友们就按捺不住自己渴望尝试的小手。

比如,npaka就分享了自己的使用体验。
首先,将DreamStudio的API密钥设置为本机的环境变量。
然后,准备Python虚拟环境,并安装stability_sdk并启动Animation GUI。
$ pip install 'stability_sdk[anim_ui]' $ python -m stability_sdk animate --gui
Running on local URL:  http://127.0.0.1:7860
用浏览器打开显示的网址后,就可以在「Project」选项卡中创建项目了。
在「Render」选项卡中设置文本提示,然后按「Render」按钮。
最后,动画就做好啦。
此外,还有一些网友也分享了自己的作品。

AI离生成电影还有多远

AI生成视频的功能如此强大,已经有网友打算投资AI动画工作室了。

这位表示,脑洞已准备好,就等一个用户友好的动画工具了。
网友们的畅想并不遥远,最近,Wes Anderson的《指环王》的新预告片中,就用到了不少AI工具。
OpenAI前AI主管Andrej Karpathy猜测,这部预告片中至少用到了Midjourney/Stable Diffusion、ControlNet、 ElevenLabs、D-Id、ChatGPT、Adobe等工具。
看来,AI视觉工具再这么进化下去,取代好莱坞大导不会太远了。
参考资料:
https://stability.ai/blog/stable-animation-sdk
https://twitter.com/StabilityAI/status/1656691563995512834
https://the-decoder.com/stable-animation-stability-ai-makes-images-move/



微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
五十年代初, 回老家当省人民政府主席的不止程子华一位AIGC教程:如何使用Stable Diffusion高效生产“等距游戏美术资源”?Midjourney危!Stable Diffusion-XL开启公测:会画手、能写字,再也不用写长prompt了疯狂烧钱、管理混乱、竞争激烈,Stable Diffusion 背后企业濒临倒闭眼科医生靠做手术年入600万一句话拍大片,导演末日来了!Gen-2震撼发布,科幻日系二次元统统拿捏AIGC玩出新花样!Stable Diffusion公司提出基于扩散模型的视频合成新模型七绝 球场不是桃花源精通Stable Diffusion画图,理解LoRA、Dreambooth、Hypernetworks四大模型差异孩子已经成为了一匹脱缰的野马!加特技只需一句话or一张图,Stable Diffusion的公司把AIGC玩出了新花样李彦宏的极客心:百度首发AIGC英雄召集令与Midjourney开战!Stable Diffusion XL 0.9重磅发布,35亿+66亿双模型,AI图像生成飞跃式进步谷歌模型支持手机上跑Stable Diffusion;普华永道砸10亿美元投资AIGC;天翼云将推出大模型丨AIGC大事日报Stable Diffusion公司重磅开源大语言模型StableLM,又爆火了!Stability AI 发布开源版 DreamStudio,可使用最新 Stable Diffusion XL 图像生成器刘燕AIGC教程:如何使用Stable Diffusion,实现PBR材质纹理自由?五秒AI绘画出图,全球最快的Stable Diffusion终于来了! [ 第364期 ]重访葡萄牙(5)-王国的书香之城AIGC教程:如何使用Stable Diffusion生成风格化游戏物品和图标高中教师养出40亿美元超级独角兽,Stable Diffusion背后数据集创建者,还发布ChatGPT最大平替特写:一个说俄语的普通乌克兰士兵,像英雄一样死去AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑苹果或降低Vision Pro销售预期/中国电信回应广东无信号/微信上线「文生图」功能前TapTap高管黄希威发布Hayo AI应用,融合ChatGPT、Stable DiffusionGAN逆袭归来!清华校友论文引爆AI绘图圈,一秒把大象P转身,Diffusion黯然失色Stable Diffusion团队放大招!新绘画模型直出AI海报Stable Diffusion背后公司开源大语言模型,很火,但很烂AI画手会画手了!Stable Diffusion学会想象,卷趴人类提示工程师平息画师怒火:Stable Diffusion学会在绘画中直接「擦除」侵权概念AIGC教程:Stable Diffusion精进,如何训练特定画风LoRA模型?Stable Diffusion能生成视频了!动画版上线!支持文本图像视频多种输入方式十分钟读懂Diffusion:图解Diffusion扩散模型打破次元壁!Stable Diffusion将现实影像转成二次元动画,推特转赞10k+,网友:都可以重做《神奇宝贝》动漫了Stable Diffusion团队放大招!新绘画模型直出AI海报,实现像素级图像生成
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。