关于【Stable-Diffusion WEBUI】基础模型对应VAE的问题

这篇具有很好参考价值的文章主要介绍了关于【Stable-Diffusion WEBUI】基础模型对应VAE的问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

(零)前言

本篇主要提及模型的VAE,通常情况下我们不用考虑它,但是有些特别是早期模型并没有整合VAE……
更多不断丰富的内容参考:🔗《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》

(一)什么是VAE

VAE(Variational Auto-Encoder 变分自动编码器)
虽然简称是编码器,实际上是编码解码器(我们用到的就是解码器部分啊)。
负责将把潜在表征重新转回图片形式。 原理可以参考:🔗这里

如果VAE不对那么你生成的图片色彩、细节、之类就会怪怪的。
比如下面是同个模型同样参数,不同VAE生成的图片:

错误的VAE:
关于【Stable-Diffusion WEBUI】基础模型对应VAE的问题

正确的VAE:
关于【Stable-Diffusion WEBUI】基础模型对应VAE的问题

(二)模型嵌入VAE了么

为啥之前完全不关注这个呢,因为大部分(新的)模型都嵌入了VAE,这样不会选错也便于使用。
只是有些模型是在介绍中说嵌入了VAE,有些模型会在文件名中包含VAE Baked字样。

这部分其实通常都不会有问题。
但是如果发现某个模型生成的图就像上面例子中一样不太对,就得考虑VAE的问题了。

我们可以通过之前文章《插件:模型工具箱》提到的模型工具箱插件。

  • 查看模型是不是包含了VAE
  • 替换或增加模型的VAE

可是偶然发现即使模型嵌入了VAE可能也有问题,这种估计只会出现在MIX融合模型上吧?
这个时候要么在生成图像时选择一个VAE,要么用工具箱修改模型,替换掉VAE。

(三)我们能做什么

(3.1)准备常见的VAE

这两个标准的先准备着:

  • vae-ft-ema-560000-ema-pruned.safetensors,参考:🔗这里
  • vae-ft-mse-840000-ema-pruned.safetensors,参考:🔗这里

(3.2)下载模型对应的VAE

如果模型和VAE是分别提供的,请都下载下来放在一起,别只下载模型文件。
当然VAE也可以放在Your SDWEBUI path/models/vae/里面。

(3.3)快捷设置中打开VAE下拉列表选择

一般保持auto自动就可以了,但想要方便换VAE,还是在快捷设置中打开吧。
什么是快捷设置?就是最上方左可以选基础模型的地方。把选择VAE也打开。
关于【Stable-Diffusion WEBUI】基础模型对应VAE的问题

开打的方式就是【设置Setting】->【用户界面User Interface】->【快捷设置列表Quicksettings list】
加入“sd_vae”。(请不要删除前面的基础模型选择)。
关于【Stable-Diffusion WEBUI】基础模型对应VAE的问题

(3.4)对比不同VAE生成的效果

如果感觉生成的图片色彩等不对劲的时候,可以对比不同VAE的效果。

保持模型和所有参数不变,选择“自动”和其它的VAE进行对比。
如果像最上面的例子一样,画质明显区别,说明这个模型没有VAE或者用错了。

修正方式就是根据模型的说明,加载VAE。
或者用工具箱插件,将对应VAE融入模型。


😄 … 完文章来源地址https://www.toymoban.com/news/detail-491017.html

到了这里,关于关于【Stable-Diffusion WEBUI】基础模型对应VAE的问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 浅谈【Stable-Diffusion WEBUI】(AI绘图)的基础和使用

    如果你对这方面是零基础,可以阅读本篇的内容,至少可以上手。 更多不断丰富的内容参考:🔗 《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》 最近比较热门的人工智能,可以单纯通过输入一段文字(提示词),或者通过一张图片生成新的绘图作品。 根据基础模型和人

    2024年02月05日
    浏览(65)
  • 闲谈【Stable-Diffusion WEBUI】的插件:模型工具箱:省空间利器

    本篇主要提到WEBUI的一个新插件,模型工具箱,可以修剪模型,提取修改模型组件信息。 更多不断丰富的内容参考:🔗 《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》 参考:https://github.com/arenasys/stable-diffusion-webui-model-toolkit 可以从WEB UI中直接安装,它是一个用于管理、编

    2024年02月11日
    浏览(80)
  • [AI绘图教程]stable-diffusion webui加载模型与插件. 实战AI绘画

    之前讲了stable diffusion webui搭建,这里主要介绍使用方法以及模型,扩展等. 主要下载网址 HuggingFace:Stable Diffusion、ControlNet的官方仓库。 Civitai:里面多是Lora或其它NSFW等模型的仓库。 这里下载anythingV4的模型,在Huggingface网站中搜索, 下载后放在stable-diffusion-webuimodelsStable-diffusio

    2023年04月09日
    浏览(93)
  • 通过【Stable-Diffusion WEBUI】复刻属于你的女神:再谈模型与参数

    本篇主要从复刻一幅作品(无论是网上或者自己已生产的图)出发,再讲讲模型和参数。我不明白的是AI可以画浩瀚宇宙、星辰大海,山川异域,城市建筑,各种艺术风格,可以说包罗万象……但实际互联网上只能看到各种小姐姐-_- 更多不断丰富的内容参考:🔗 《继续Stab

    2024年02月12日
    浏览(39)
  • (十六) AIGC、AI绘画、SD-WebUI、本地部署、Stable-Diffusion本地模型、最新Controlnet扩展

    1、简介 AI绘画的工具网站很多,大部分收费/限制数量,而且速度很慢,如果部署本地的模型,不仅免费无限制、还可以提高出图效率,随意生成自己想象中的图,部署中发现有各种各样的环境配置问题,无法正确运行。 本博整理了SD-WebUI的整合包(Windows环境下),包括启动器

    2024年02月13日
    浏览(79)
  • Stable-Diffusion的WebUI部署实战

    1.1、linux环境 安装完成前期的环境准备之后,之后每次运行只需要: 该种方式会将进程运行在本地,可以通过ip+port的方式直接在网页上访问。 也可以通过如下方式进行简单的改造: 参数说明: --listen :将本地连接从127.0.0.1修改为0.0.0.0,即可通过服务器 IP:7861进行访问 --s

    2024年03月14日
    浏览(94)
  • Stable-diffusion WebUI API调用方法

    写这篇文章的主要原因是工作中需要写一个用训练好的模型批量生图的脚本,开始是想用python直接加载模型,但后来发现webui的界面中有很多用起来比较方便的插件和参数,最终改成调用WebUI接口的方式来批量生图。 Stable-diffusion的webui界面使用比较方便,但是它的api文档比较简

    2024年02月08日
    浏览(62)
  • NovelAi + Webui + Stable-diffusion本地配置

    推荐 dev-sidecar  系统版本 windows10,windows11 显卡(越强越好,显存越大越好,本人是RTX 3060)用AMD显卡的参考:Install and Run on AMD GPUs · AUTOMATIC1111/stable-diffusion-webui Wiki (github.com)进行配置 内存(16G可以正常运行,8G没有测试) CUDA( 下载低于现显卡版本的 ) Anaconda 或者 Git (此

    2024年02月01日
    浏览(60)
  • stable-diffusion、stable-diffusion-webui、novelai、naifu区别介绍

    Stable Diffusion 是一个基于 Latent Diffusion Models (潜在扩散模型,LDMs)的文图生成(text-to-image)模型。它由 CompVis 、 Stability AI 和 LAION 共同开发,通过 LAION-5B 子集大量的 512x512 图文模型进行训练。我们只要简单的输入一段文本, Stable Diffusion 就可以迅速将其转换为图像,同样我

    2024年02月09日
    浏览(49)
  • 探索【Stable-Diffusion WEBUI】的插件:批量替换人脸

    本篇主要提到WEBUI似乎和主线剧情无关的插件,可以批量改变多张图片的面部为AI生成的内容。 更多不断丰富的内容参考:🔗 《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》 参考:🔗插件官网 可以从WEB UI中直接安装。 安装后在图生图最下面的 脚本 下拉列表中, 它需要

    2024年02月09日
    浏览(90)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包