(零)前言
本篇主要提及模型的VAE,通常情况下我们不用考虑它,但是有些特别是早期模型并没有整合VAE……
更多不断丰富的内容参考:🔗《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》
(一)什么是VAE
VAE(Variational Auto-Encoder 变分自动编码器)
虽然简称是编码器,实际上是编码解码器(我们用到的就是解码器部分啊)。
负责将把潜在表征重新转回图片形式。 原理可以参考:🔗这里。
如果VAE不对那么你生成的图片色彩、细节、之类就会怪怪的。
比如下面是同个模型同样参数,不同VAE生成的图片:
错误的VAE:
正确的VAE:
(二)模型嵌入VAE了么
为啥之前完全不关注这个呢,因为大部分(新的)模型都嵌入了VAE,这样不会选错也便于使用。
只是有些模型是在介绍中说嵌入了VAE,有些模型会在文件名中包含VAE Baked
字样。
这部分其实通常都不会有问题。
但是如果发现某个模型生成的图就像上面例子中一样不太对,就得考虑VAE的问题了。
我们可以通过之前文章《插件:模型工具箱》提到的模型工具箱插件。
- 查看模型是不是包含了VAE
- 替换或增加模型的VAE
可是偶然发现即使模型嵌入了VAE可能也有问题,这种估计只会出现在MIX融合模型上吧?
这个时候要么在生成图像时选择一个VAE,要么用工具箱修改模型,替换掉VAE。
(三)我们能做什么
(3.1)准备常见的VAE
这两个标准的先准备着:
-
vae-ft-ema-560000-ema-pruned.safetensors
,参考:🔗这里 -
vae-ft-mse-840000-ema-pruned.safetensors
,参考:🔗这里
(3.2)下载模型对应的VAE
如果模型和VAE是分别提供的,请都下载下来放在一起,别只下载模型文件。
当然VAE也可以放在Your SDWEBUI path/models/vae/
里面。
(3.3)快捷设置中打开VAE下拉列表选择
一般保持auto自动就可以了,但想要方便换VAE,还是在快捷设置中打开吧。
什么是快捷设置?就是最上方左可以选基础模型的地方。把选择VAE也打开。
开打的方式就是【设置Setting】->【用户界面User Interface】->【快捷设置列表Quicksettings list】
加入“sd_vae”。(请不要删除前面的基础模型选择)。
(3.4)对比不同VAE生成的效果
如果感觉生成的图片色彩等不对劲的时候,可以对比不同VAE的效果。
保持模型和所有参数不变,选择“自动”和其它的VAE进行对比。
如果像最上面的例子一样,画质明显区别,说明这个模型没有VAE或者用错了。
修正方式就是根据模型的说明,加载VAE。
或者用工具箱插件,将对应VAE融入模型。文章来源:https://www.toymoban.com/news/detail-491017.html
😄 … 完文章来源地址https://www.toymoban.com/news/detail-491017.html
到了这里,关于关于【Stable-Diffusion WEBUI】基础模型对应VAE的问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!