有本事，你动一下试试！
大家好，我是 Jack。
今天看到一个非常有趣的项目，图像生成又有新进展了！
看过我这期视频，玩过 AI 绘画的小伙伴，对于 Stable Diffusion 绝对再熟悉不过了。
简单概括它的功能就是：通过一句话的描述，生成对应的各种画风的图片。
AI 绘画的出现，让大家玩得不亦乐乎，各种应用也是百花齐放，越来越多的人学会了使用 AI 技术进行“创作”。
AI 能够生成静态图片，人们自然而然会想到，能否利用 AI 技术进一步生成一小段动图呢？
有本事，你动一下试试！
比如，我想个性化定制某个人物，让这个人物动起来，增加时间动态性，不再是简单的静态图像。
如今，这些想法也能实现了，AnimateDiff 诞生！
我们先看效果：
不需要额外 finetune 模型，AnimateDiff 可以针对各个模型生成的图片，一键生成对应的动图。
为了方便展示，我对动图进行了压缩（分辨率降低了），实际效果要优于展示的效果。
像之前出现过的一些算法，都需要针对特定的图片再做训练，AnimateDiff 则不需要，这大幅节省了生成动图的成本。
不仅仅针对人物，风景、动物也能动起来。
AnimateDiff 其实是在文本到图像的模型中，引入了一个新的运动建模模块，该模型是在大规模的视频剪辑素材上训练得到的，使用该模块可以提取合理的先验信息。
这样，一个基础的文本生成图片的模型，就具备了个性化派生的能力，生成某个特定事物的动图。
项目地址：
https://github.com/guoyww/AnimateDiff
想要运行这个项目，大概需要 12 GB 显存。
部署方法也很简单，使用 Anaconda 创建虚拟环境：
git clone https://github.com/guoyww/AnimateDiff.git
cd AnimateDiff
conda env create -f environment.yaml
conda activate animatediff
运动模型有两个版本，基于 stable-diffusion-v1-4 和 v1-5 finetune 得到的模型，具体用哪个版本，可以针对不同的文本生成图片的模型去选择。
git lfs install
git clone https://huggingface.co/runwayml/stable-diffusion-v1-5 models/StableDiffusion/
bash download_bashscripts/0-MotionModule.sh、
最后就是下载文本生成图片的模型，可以使用脚本直接下载。
bash download_bashscripts/1-ToonYou.sh
bash download_bashscripts/2-Lyriel.sh
bash download_bashscripts/3-RcnzCartoon.sh
bash download_bashscripts/4-MajicMix.sh
bash download_bashscripts/5-RealisticVision.sh
bash download_bashscripts/6-Tusun.sh
bash download_bashscripts/7-FilmVelvia.sh
bash download_bashscripts/8-GhibliBackground.sh
想要运行，选择对应的配置文件即可。
python -m scripts.animate --config configs/prompts/1-ToonYou.yaml
python -m scripts.animate --config configs/prompts/2-Lyriel.yaml
python -m scripts.animate --config configs/prompts/3-RcnzCartoon.yaml
python -m scripts.animate --config configs/prompts/4-MajicMix.yaml
python -m scripts.animate --config configs/prompts/5-RealisticVision.yaml
python -m scripts.animate --config configs/prompts/6-Tusun.yaml
python -m scripts.animate --config configs/prompts/7-FilmVelvia.yaml
python -m scripts.animate --config configs/prompts/8-GhibliBackground.yaml
具体的效果，大家可以自行体验吧。
目前 AnimateDiff 不支持特定动作的生成，比如输入一个文本动作描述，生成对应的动图，现在是随机生成一个符合图片意境的动图。我想，可编辑的，能够生成动图的算法，可能会是下一个方向。
周末，我会继续做之前承诺的视频教程，这期内容喜欢的人多的话，这篇文章的 AI 算法的一键部署包，也可以放到视频里一起讲解。
就聊这么多吧，我是 Jack，我们下期见！
微信扫码关注该文公众号作者