Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁-Toy模板网

这篇具有很好参考价值的文章主要介绍了Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、安装

1.1、安装ffmpeg

下载地址：
解压，配置环境变量 E:\AI\ffmpeg\bin
检查是否安装成功
Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion

1.2、安装SD的 EbSynth 插件

插件地址 https://github.com/s9roll7/ebsynth_utility
Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion
报错：ModuleNotFoundError: No module named 'extensions.ebsyynth_utility

将目录 ebsyynth_utility-main 改为 ebsyynth_utility.

1.3、安装 EbSynth

从官网下载，解压即可

1.4、下载背景透明工具transparent-background

Pip install transparent-background

该代码执行还需要依赖模型文件，如果预先现在则在执行时会从google-driver中下载模型，如果网络不行则会下载失败。

模型下载地址：https://drive.google.com/uc?id=13oBl5MTVcWER3YU4fSxW3ATlVfueFQPY

1.5、安装 TemporalKit插件

Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion
也可以在webui 的 extensions 中安装

二、TemporalKit + EbSynth

2.1、使用TemporalKit 分割视频

Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion

2.1.0、参数

Sides 数量决定每张图片显示几张图

Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion

Border Key Frames

2.1.1、分拆结果

input 为每一帧

Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion

2.2、使用图生图

Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion
填入提示词

2.2.1、设置 ControlNet

2.2.1.1、配置第一个为 Tile

Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion

2.2.1.2、配置第二个为 SoftEdge

Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion

2.2.1.3、第三个配置为 depth

Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion

2.2.2、点击生成图片

选择觉得好的结果图片，记录好种子
Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion

2.2.3、批量处理

2.2.3.1、设置批处理输入输出路径

Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion

2.2.3.2、设置每个contorlnet 的批处理输入路径

其他两个输入路径设置一样
Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion
然后点击生成

报错：解决安装对应 pt
Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion
结果生成到output

2.3、Ebsynth-Process

Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion
生成结果：

2.4、使用 Ebsynth 处理key, frames图片

Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion
其他1-8的目录同样处理

2.5、recombine ebsynth （合并）

Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion

2.7、问题

1、一个视频无法进行 pre-processing

Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁,AIGC,# Stable Diffusion,stable diffusion
暂时没有解决，只有这个视频无法处理，其他视频正常。文章来源地址https://www.toymoban.com/news/detail-585800.html