AI进化太快了，令人惊艳的SVD新项目，开源了！

大家好，我是 Jack。

对于 Stable Diffusion，想必我的读者朋友们对此都不陌生。

自 Stability AI 公司发布 SD（全称：Stable Diffusion) 以来，受到了很多人的喜爱。

随后技术升级，又发布了 SDXL，名字很有喜感，XL、XXL、XXXL...

顾名思义，SDXL 就是 SD 的升级版，图片生成的效果更好、更逼真、分辨率更高！

图片领域做得不错了，Stability AI 再次发力，昨天又发布了 Stable Video Diffusion。

也就是说，通过一句话描述，现在不仅可以生成图片，还可以生成视频了。

举几个例子。

输入：火箭升天

AI 算法直接生成对应的视频：

输入：太空中转动的地球：

AI 算法直接生成对应的视频：

看下更多的例子：

是不是效果还不错？Stability AI 把 Stable Video Diffusion 也开源了！

Stable Video Diffusion

一共开源了两个模型：

SVD：能够生成帧率 14、分辨率 576x1024 的视频；

SVD-XT：SVD 的 finetune 升级版，分辨率不变，但能够生成帧率 25 的视频；

前排提醒： 想要本地跑 Stable Video Diffusion，显存得 20G 左右。

1、下载代码库

git clone [email protected]:Stability-AI/generative-models.git
cd generative-models

2、配置 Python 环境

由于第三方依赖库的要求，Python 需要至少是 3.10 版本以上。

推荐使用 conda 新建一个环境。

conda create -n py310 python==3.10

激活环境，并安装相应的依赖。

conda activate py310
python -m pip install -r requirements/pt2.txt

最后再安装 sgm，直接在项目根目录运行即可。

python -m pip install .

如果想要训练模型，还需要安装 sdata，我这里就不说了，毕竟跟我一样训练不起的，应该占绝绝绝绝大多数。

3、模型下载

SVD 模型下载地址：

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid

SVD-XT 模型下载地址：

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt

下载好模型后，将模型放到 checkpoints 目录下。

4、运行算法

可以使用 streamlit 运行：

streamlit run scripts/demo/video_sampling.py --server.port <your_port>

好了，今天就聊这么多吧。

我是 Jack，我们下期见！

·················END·················