由字节跳动开源的一种基于diffusion-based的人体图像动画框架，旨在增强时间一致性、忠实地保留参考图像并提高动画保真度。

[项目链接](https://github.com/magic-research/magic-animate)

环境选择:

使用AutoDL

镜像选择PyTorch==1.11.0,Python==3.8(ubuntu20.04),Cuda==11.3

数据盘选择扩容200g

安装运行

使用SSH连接到AutoDL,进入系统后使用cd命令进入数据盘(系统盘不足以安装全部库)

cd /root/autodl-tmp

然后使用git克隆magic-animate仓库

git clone https://github.com/magic-research/magic-animate.git

克隆完成后进入仓库目录 cd magic-animate ,安装requirements.txt

pip3 install -r requirements.txt

安装完成后在仓库目录下新建*pretrained_models*目录

mkdir pretrained_models

拉取 MagicAnimate sd-vae-ft-mse stable-diffusion-v1-5

git lfs clone https://huggingface.co/zcxu-eric/MagicAnimate
git lfs https://huggingface.co/stabilityai/sd-vae-ft-mse

对于stable-diffusion-v1-5由于库过于庞大直接克隆可能会因为各种各样的原因拉取失败(浪费了一天时间😭),所以采用先克隆仓库然后再进行pull

git clone  https://huggingface.co/runwayml/stable-diffusion-v1-5
cd stable-diffusion-v1-5
git lfs pull

克隆完成后返回magic-animate仓库目录,运行Gradio

python3 -m demo.gradio_animate

使用

我使用的是VsCode进行的ssh连接,直接在VsCode中打开内置浏览器即可查看到WebUI页面

在WebUI页面中下滑选择演示Demo中的任意一个,将Demo自带的图片删除,上传自己需要动起来的图片

点击Animate等待视频生成