今天要给大家介绍一个可以在Stable diffusion中快速生成不闪烁动画的插件,叫AnimateDiff。

AnimateDiff是目前Stable diffusion中效果比较好的文本生视频插件之一,它可以与其他插件结合使用。

我个人现在想到的这款插件可以用到的商业领域就是自媒体、动画动漫、宣传片等等。

好,废话不多说,接下来本文将介绍AnimateDiff的下载和安装、使用方法以及一些设置和技巧。
在这里插入图片描述

1 安装插件

老规矩,Stable diffusion插件安装方法有以下三种:

  1. 启动“Stable Diffusion”,点击“扩展”—“可下载”—再点击“加载扩展列表”,搜索关键词“AnimateDiff”,点击“安装“,安装完成之后,重启一下“Stable Diffusion”即可。

图片

  1. 从网址安装,复制Github的URL,将插件的URL粘贴到“扩展的git仓库网址”上,在点击”安装“,安装完成之后,重启一下”Stable Diffusion“即可。

插件Github URL:https://github.com/continue-revolution/sd-webui-animatediff.git

图片

  1. 插件安装包安装,在Github下载该插件的安装包并安装到“Stable Diffusion”目录中的“extensions”文件夹中即可。(文末提供安装包)

2 模型下载

安装好插件之后,还需要下载一个动画模型八个控制镜头的LoRA模型,(控制镜头的模型可以不用下载,但是动画模型必须下载),动画模型下载最新的“mm_sd_v15_v2.ckpt“这个即可,它是最新的也是最稳定效果最好的。

图片

下载好模型后就需要把模型放到对应的文件夹里面。“mm_sd_v15_v2.ckpt”这个模型放到“…\sd-webui-aki-v4.2\extensions\sd-webui-animatediff\model”文件夹即可,LoRA模型放到“…\sd-webui-aki-v4.2\models\lora”即可。

安装好插件并把模型放到对应的文件夹之后,重启Stable Diffusion就可以看到“AnimateDiff”这个插件啦。

图片

3 插件使用

  1. 勾选“启用 AnimateDiff”启用插件。

图片

  1. 设置“总帧数”。帧率默认是8,也就是每秒8帧(8帧也就是1秒8张图片),如果想要一个2秒的动画就是82=16(总帧数),4秒的话就是84=32(总帧数)以此类推。

图片

  1. 设置闭环。闭环就是让最后一帧和第一帧保持一样,让动画无限循环。以下是闭环的4个选项的介绍:

N: 指的是没有这种循环,也就是只能从头到尾,不会回到开始。

R-P: 指的是尝试减少闭合循环上下文的数量。提示词旅程不会被插值为闭合循环。

R+P: 指的是尝试减少闭合循环上下文的数量。提示词旅程会被插值为闭合循环。

A: 指的是积极尝试让最后一帧和第一帧保持一样,也会将提示词旅程插值为闭合循环。

Tips:提示旅程插值是一种计算方式,它用于调整和改变视频的帧与帧之间的内容,以达到更好的连续性和流畅度。

图片

  1. 设置输出格式。

图片

  1. 设置完“AnimateDiff”之后,接下来就是输入正向提示词和反向提示词,如果要控制镜头,可以再加一个镜头控制的LoRA。

图片

  1. 根据自己的电脑配置和需求设置生成参数,然后点击生成即可。

图片

  1. 等待一会儿….。生成完之后,我们发现在使用一些基础的参数情况下,效果还是比较差的,不过没事儿,我们接着往下看。

图片

4 生成优化

  1. 帧插值选择“FILM”。使用Deforum的FILM实现来对帧进行插值。但是需要安装Deforum插件。(帧插值是可以在两个已知帧之间填充新的帧,从而增加视频的帧数,使得视频在播放的时候更加流畅不卡顿)

图片

  1. 最新版的“AnimateDiff”可以在提示词中控制一些细微的动作,格式是:

第一行头部提示(可选):可以没有、写一行或多行。

第二行和第三行提示插值:给出帧编号和对应的提示。帧编号应按升序排列,且小于总帧数。第一个帧的编号是0。

尾部提示(可选):可以没有、写一行或多行。

比如要让一个女孩从0帧闭眼然后再到8帧睁眼,提示词可以这么写示例:

图片

5 其他设置

如果生成的动画中间的前一秒和后一秒没有关联性可以在设置-优化设置-勾选“补齐正向/反向提示词到相同长度”选项,它可以防止生成两个单独不相关的动画。

图片

6 总结

以上是关于AnimateDiff的安装方法以及简单的使用方法,后面还会分享一些结合其他的插件的使用方法,如ControlNet、动画面部替换、动画服装替换、原视频换风格,风格迁移等等

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 (全套教程文末领取哈)

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐