Stable Diffusion WebUI使用AnimateDiff插件生成动画

这篇具有很好参考价值的文章主要介绍了Stable Diffusion WebUI使用AnimateDiff插件生成动画。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

AnimateDiff 可以针对各个模型生成的图片,一键生成对应的动图。

配置要求

GPU显存建议12G以上,在xformers或者sdp优化下显存要求至少6G以上。

要开启sdp优化,在启动参数加上--sdp-no-mem-attention

实际的显存使用量取决于图像大小(batch size)和上下文批处理大小(Context batch size)。可以尝试减小图像大小或上下文批处理大小以减少显存使用量。

WebUI版本:v1.6.0

ControlNet版本:v1.1.410

下载运动模型

https://huggingface.co/guoyww/animatediffhttps://huggingface.co/guoyww/animatediff​​​​​​​主模型放置在`stable-diffusion-webui/extensions/sd-webui-animatediff/model/`目录下。如果希望使用其他目录保存模型权重,请在“Settings/AnimateDiff”中进行配置。

  • mm_sd_v15_v2.ckpt

运动lora正常放置和使用

  • v2_lora_PanLeft.ckpt        左移
  • v2_lora_PanRight.ckpt       右移
  • v2_lora_RollingAnticlockwise.ckpt       逆时针
  • v2_lora_RollingClockwise.ckpt       顺时针
  • v2_lora_TiltDown.ckpt       下倾斜
  • v2_lora_TiltUp.ckpt       上倾斜
  • v2_lora_ZoomIn.ckpt       放大
  • v2_lora_ZoomOut.ckpt       缩小

安装AnimateDiff插件

插件地址:

https://github.com/continue-revolution/sd-webui-animatediff

1、在“Settings/Optimization”中启用“Pad prompt/negative prompt to be same length”,并点击“Apply settings”按钮。这一步是为了避免生成两个不相关的GIF图。选择是否启用“Batch cond/uncond”是可选的,这样做可以提高速度,但会增加显存的使用量。

2、不要禁用哈希计算,否则AnimateDiff将无法确定何时切换运动模块。

3、使用txt2img将文本转换为GIF,使用img2img将图像转换为GIF。为了避免出现画面较大的跳跃,建议在img2img界面进行。该插件生成的超短视频以GIF格式存储。

4、选择一个SD1.5 模型,编写提示词,设置配置(如图像宽度/高度)。如果想一次生成多个GIF,更改批处理数量,而不是批处理大小。

5、启用AnimateDiff扩展,设置参数,然后点击“Generate”按钮。

Stable Diffusion WebUI使用AnimateDiff插件生成动画,AI,stable diffusion

6、生成的GIF在`stable-diffusion-webui/outputs/{txt2img或img2img}-images/AnimateDiff`目录下。生成的中间图像帧在`stable-diffusion-webui/outputs/{txt2img或img2img}-images/{date}`目录下。可以在“Settings/AnimateDiff”中修改生成路径。

参数说明:

保存格式(Save format):

输出的文件格式。至少选择一个:"GIF"|"MP4"|"WEBP"|"PNG"。如果需要附加信息文本,勾选"TXT",它将与输出GIF文件保存在相同的目录下。

总帧数(Number of frames):

生成的超短视频的帧数,一般建议20帧以下。

帧率(FPS):

选择30-60为佳。

循环播放次数(Display loop number):

GIF播放的循环次数,值为0表示GIF永远不停止播放。

上下文批处理大小(Context batch size):

每次传入运动模块的帧数。SD1.5运动模块是基于16帧训练的,因此当帧数设置为16时,效果最好。

闭环(Closed loop):

闭环意味着该扩展会尝试使最后一帧与第一帧相同。选择不同的闭环选项(N|R-P|R+P|A)来确定如何实现闭环。

  • N表示绝对没有闭环。如果帧数小于上下文批处理大小而不是0,则这是唯一可用的选项。
  • R-P意味着扩展将试图减少闭环上下文的数量。提示行程不会被插值为闭环。
  • R+P意味着扩展将试图减少闭环上下文的数量。即时行程将被插值为一个闭环。
  • A意味着扩展将积极尝试使最后一帧与第一帧相同。即时行程将被插值为一个闭环。

步幅(Stride):

最大运动步幅,以2的幂表示(默认值:1)。由于无限上下文生成器的限制,此参数仅在帧数大于上下文批处理大小时有效。当Stride为1时,"Absolutely no closed loop"(绝对不进行闭环)才可能实现。

重叠(Overlap):

上下文中重叠的帧数。如果重叠设置为-1(默认值),重叠将为上下文批处理大小的四分之一。由于无限上下文生成器的限制,该参数仅在帧数 > 上下文批处理大小时有效。

帧插值(Frame Interpolation):

使用Deforum的FILM实现在帧之间进行插值。需要Deforum扩展。

插值倍数(Interp X):

将每个输入帧替换为X个插值输出帧。文章来源地址https://www.toymoban.com/news/detail-752991.html

到了这里,关于Stable Diffusion WebUI使用AnimateDiff插件生成动画的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 闲谈【Stable-Diffusion WEBUI】的插件:绘图过程动画输出

    本篇主要提到WEBUI的过程动画输出插件,把AI绘图的过程,从完全噪点到成品的过程做成动画视频。 更多不断丰富的内容参考:🔗 《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》 参考:https://github.com/vladmandic/sd-extension-steps-animation 可以从WEB UI中直接安装。 安装后出现在和

    2024年02月16日
    浏览(61)
  • Stable Diffusion 动画SD-Animatediff V2

    AI不仅可以生成令人惊叹的图片,还能给这些图片注入生命,让它们动起来。 这就是AnimateDiff要做的事情,一个神奇的工具,能将静态的AI生成图像转换成动画。 本次介绍基于SD如何实现这个神奇的方法。 进入SD页面在扩展下输入网址 https://github.com/continue-revolution/sd-webui-anim

    2024年02月07日
    浏览(144)
  • Stable Diffusion——尝试如何正确的使用【AnimateDiff】生成动图——4种方法测试

    给的提示词与正常生成图片的操作一样。  封面图片生成信息:种子(654742741) Celebrity face, jet black long hair, beautiful woman, wearing a white shirt, front facing photo of upper body, photo taken, ultra clear, cute, loli, natural black pupils, divine eyes, Chinese style, symmetrical, straight facial features, no stretching, first

    2024年01月16日
    浏览(48)
  • Stable Diffusion 动画animatediff-cli-prompt-travel

    基于 sd-webui-animatediff 生成动画或者动态图的基础功能, animatediff-cli-prompt-travel 突破了部分限制,能让视频生成的时间更长,并且能加入controlnet和提示词信息控制每个片段,并不像之前 sd-webui-animatediff 的一套控制全部画面。 动图太大传不上来,凑合看每一帧的图片吧

    2024年02月08日
    浏览(33)
  • 关于【Stable-Diffusion WEBUI】生成全身图:插件解决面部崩坏问题

    本篇主要介绍WEBUI的插件:SD Face Editor,虽然叫Editor实际上是Fixer,作用是修复脸部。 更多不断丰富的内容参考:🔗 《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》 参考: 由于神经网络无法完全捕捉人脸的微妙细节和变化,导致产生了不自然或扭曲的结果…… 所以生成图

    2024年02月06日
    浏览(75)
  • Stable Diffusion WebUI插件posex安装以及无法使用完美解决办法汇总

    posex是一个很好用的3Dopenpose编辑器。 我们只需要去官网找到源码就可以查看其用法。 对于安装大家应该都知道怎么去安装。 (1)一体包安装方式 类似于秋叶一体包直接在webui界面搜索posex就可以直接install。 最新版本好像已经取消了。 (2)手动安装方式 直接进入extensions目

    2024年02月04日
    浏览(42)
  • 使用Unity 接入 Stable-Diffusion-WebUI 文生图生成图像

    这一部分就不多赘诉了,我使用的是B站秋叶大佬的整合包, 要启用API 。 网上蛮多自己配置的,可能需要设密码之类的。经自己测试,使用整合包的话就不配置这个API账号密码了,不然会出现客户端出错,连接不上等问题(可能是我操作不当,我也还没研究透) 附带:可以下一

    2024年04月12日
    浏览(45)
  • 使用Unity 接入 Stable-Diffusion-WebUI的 文生图api 并生成图像

    在无聊的时候,想瞅一下sd生图遂做了一下 注意:我采用了异步处理,每点击一次发送一次请求,不需要等待生成完再点击。后面生成的画面会覆盖掉之前的。 1、启动SD的api设置 注意,运行后的api相关功能可以在:http://127.0.0.1:7860/docs 查看 比如这一次我们要的生图的地址就是

    2024年04月23日
    浏览(71)
  • 【AIGC】如何在使用stable-diffusion-webui生成图片时看到完整请求参数

    通过代码调用Stable Diffusion的txt2img、img2img接口时,很多时候都不知道应该怎么传参,比如如何指定模型、如何开启并使用Controlnet、如何开启面部修复等等,在sd-webui上F12看到的请求也不是正式调用SD的请求,所以当引入新插件或需要使用新功能时,怎么传参成了一个大问题,

    2024年02月08日
    浏览(57)
  • Stable Diffusion WebUI安装SadTalker插件

    AI绘画已经火了有几个月了,不知道大家有没有去体验一下呢? 要说可操作性最强的莫过于Stable Diffusion WebUI,简称SD,下面我们就来介绍一下如何给SD安装上SadTalker插件,记录一下安装和使用过程中踩过的坑~ 通过Stable Diffusion WebUI安装SadTalker插件,有4种方式: 1. web界面通过在

    2024年02月10日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包