在小视频风靡的时代,稳定的文本生成短视频成为了迫切需求。今天向大家介绍一款相对稳定且与其他插件兼容的工具——AnimateDiff。

一、AnimateDiff简介

AnimateDiff采用控制模块来影响Stable Diffusion模型,通过大量短视频剪辑的训练,它能够调整图像生成过程,生成一系列与训练视频剪辑相似的图像。简言之,AnimateDiff通过训练大量短视频来优化图像之间的过渡,确保视频帧的流畅性。

与传统的SD模型训练方式不同,AnimateDiff通过大量短视频的训练来提高图像之间的连续性,使得生成的每一张图像都能经过AnimateDiff微调,最终拼接成高质量短视频。

图片

二、安装AnimateDiff

要使用AnimateDiff,需要安装SD插件和AnimateDiff模型。

插件安装:如果你可以科学上网,你可以直接在扩展->从网址安装中填入https://github.com/continue-revolution/sd-webui-animatediff.git

图片

如果无法通过网站安装,我为你提供了安装包,你可以通过回复"AnimateDiff"来获取sd-webui-animatediff的压缩包,并将其解压到SD安装目录下的stable-diffusion-webui/extensions/。

模型下载:安装插件后,下载AnimateDiff模型并将其放置在stable-diffusion-webui/extensions/sd-webui-animatediff/model/目录下。

https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt

(上面提供的网盘文件中已包括了模型,解压缩后将mm_sd_v15_v2.ckpt文件存放在model/目录中。

安装完成后,重新启动Stable Diffusion,在文生图页面中将看到AnimateDiff插件的配置选项。

图片

三、视频生成

第一步:输入关键字

  • 模型:majicMIX realistic 麦橘写实_v7
  • 提示词:a young girl in white with long strait hair wearing earrings and with red lipstick,clean skin,in the style of minimalist sets,piles/stacks,kitsch and camp charm,accessories.vibrant colorful portrait.waist-above shot,professional photography,duobaca,lora:花样年华_v1.0:0.6,
  • 反向提示词:bad-artist,bad-artist-anime,bad-hands-5,bad-image-v2-39000,bad-picture-chill-75v,bad_prompt,bad_prompt_version2,badhandv4,NG_DeepNegative_V1_75T,EasyNegative,2girls,3girls,(nsfw:1.3),

第二步:配置AnimateDiff

介绍以下几个基础参数:

  • Motion Module:使用AnimateDiff模型
  • Enable AnimateDiff:启用
  • FPS:每秒帧数(每帧为一张图片)
  • Number of frames:总帧数。总帧数/FPS = 视频长度,例如,上述参数会生成4秒的视频。

第三步:生成视频

点击生成按钮,观察效果。

在中间效果图中,你会看到生成了16张图像(总帧数)。

图片

视频效果:

图片

四、细节优化:

AnimateDiff支持与其他插件结合使用。使用adetail插件可改善脸部细节问题,可以直接启用。

连续性优化:

启用AnimateDiff的Frame Interpolation功能,将Frame Interpolation设置为FILM,并将Interp X设置为FPS的倍数,比如将其设置为10。

你还可以启用反向帧功能(Add Reverse Frame),这相当于正向播放视频一次,再反向播放一次,实际上会提升视频的流畅度。

图片

五、遇到的问题

提示词长度问题:图片提示词的长度不能超过75。

启用高清修复,GPU很容易会崩溃。

图片分辨率不能太大。

多次生成视频时报错:如果多次生成视频时出现以下错误信息:“Expected weight to be a vector of size equal to the number of channels in input, but got weight of shape [1280] and input of shape [16, 2560, 9, 9]” 你需要在启动SD时删除–xformers参数。

图片

这篇文章介绍了AnimateDiff的基本用法和优化方法。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐