Animate Anything来了！照片秒变视频，涂哪里就动哪里！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【AIGC】微信交流群

扫码加入CVer知识星球，可以最快学习到最新顶会顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文，强烈推荐！

在CVer微信公众号后台回复：动起来，即可下载论文pdf和代码链接！快学起来！

人人皆可成为马良，开源代码链接：

https://github.com/alibaba/animate-anything

Animate Anything效果展示

Animate Anything方法介绍

如上图所示，Animate Anything在基础video diffusion模型上引入了motion brush的概念，只有被其圈中的区域才会根据文本指令呈现动态效果。为了实现这样的功能，作者团队基于真实视频合成了大量只含有局部区域变化的视频，在模型训练时将运动区域对应的mask叠加在每帧图像的latent code上来引导模型学习区域控制能力。同时作者团队发现，这种做法的潜在好处是支持一张图像在多个区域的动画合成，从而让一张图像能够组合各式各样的动画效果。为了更好地刻画目标区域的运动速度，Animate Anything设计了motion strength来衡量目标物体在不同时刻的位置差异，作者团队将motion strength编码为向量，作为条件控制注入UNet的残差模块中，在训练时通过帧间差异来使模型具备运动速度的控制能力。

在训练数据上，作者团队对HD-VILA-100M数据集进行镜头切分，清洗过滤出20万个视频片段，通过blip算法为每个片段生成文本描述内容。在模型训练时，保留每一个视频的第一帧的clean latent, 对后续帧的latent上加入噪声，让网络预测出完整视频。更多demo，实现细节及源码可以查看项目主页

https://animationai.github.io/AnimateAnything/

Animate Anything效果对比

与Gen-2，Videocomposer，VideoCraft等方法对比，Animate Anything在保持参考图像的一致性以及运动控制的准确性上展示出了更明显的优势。

具体细节可以查看论文：AnymateAnything: Fine-Grained Open Domain Image Animation with Motion Guidance.

在CVer微信公众号后台回复：动起来，即可下载论文pdf和代码链接！快学起来！

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集
AIGC 交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-AIGC 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。

一定要备注：研究方向+地点+学校/公司+昵称（如AIGC +上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看