stable diffusion实践操作-VAE

这篇具有很好参考价值的文章主要介绍了stable diffusion实践操作-VAE。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

系列文章总目录

stable diffusion实践操作



一、 前言

1 定义功能全局介绍

VAE,全名Variational autoenconder,中文叫变分自编码器。作用是:滤镜+微调 ,名字中带有vae,后缀ckpt,pt
有的大模型是会自带VAE的,比如我们常用的Chilloutmix。如果再加VAE则可能画面效果会适得其反 。

大部分底模有VAE,但是部分底模没有VAE,需要专门下载VAE才能使用。
最常用的VAE:vae-ft-mse-840000-ema-pruned
功能:用来饱和度和细节提升

色彩饱和度提高
stable diffusion实践操作-VAE,SD,stable diffusion
图片细节增强
stable diffusion实践操作-VAE,SD,stable diffusion
SD webUI位置
stable diffusion实践操作-VAE,SD,stable diffusion

2 模型全局介绍

2.1 后缀以及存放位置

下载后存放地址:sd-webui-aki-v4.2\models\VAE

stable diffusion实践操作-VAE,SD,stable diffusion

2.2 查看大模型是否有VAE

具体加不加VAE,需要详细看大模型说明,如果没有说明,那么就先不要加看看结果,如果结果比较灰蒙蒙的,那么就需要加。
stable diffusion实践操作-VAE,SD,stable diffusion


二、正文

1 原理

首先贴出知乎文档,后期慢慢研究
stable diffusion实践操作-VAE,SD,stable diffusion

1.1 基础原理

VAE其中包括了编码器和解码器,
stable diffusion实践操作-VAE,SD,stable diffusion

在VAE的训练过程中,利用VAE的编码器对图片进行压缩,提取图片的潜在表征使得训练加速。

stable diffusion实践操作-VAE,SD,stable diffusion

还原过程,将图片解压使其还原成一个清晰的图片:

stable diffusion实践操作-VAE,SD,stable diffusion

SD将我们的文字集以及大模型的图像集,通过编码器(CLIP),转化成机器可以识别的代码,然后将这些代码迭代到符合我们描述的图像代码中,这些代码发送给了VAE进行解码,输出为图像。就这样SD通过我们的文字提示词,生成了基于大量图片训练的大模型的风格。
stable diffusion实践操作-VAE,SD,stable diffusion

下面是一张比较严谨的流程

stable diffusion实践操作-VAE,SD,stable diffusion

2 使用

2.1 增加饱和度

stable diffusion实践操作-VAE,SD,stable diffusion

2.2 增加细节

stable diffusion实践操作-VAE,SD,stable diffusion

3 下载

3.1 自动下载

stable diffusion实践操作-VAE,SD,stable diffusion

3.2 手动下载

下载地址:(后期补充)
下载后存放地址:sd-webui-aki-v4.2\models\VAE


三 、总结

例如:以上就是今天要讲的内容,本文仅仅简单介绍了VAE的原理和使用。文章来源地址https://www.toymoban.com/news/detail-692902.html

到了这里,关于stable diffusion实践操作-VAE的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • stable diffusion实践操作-writing

    Stable Diffusion的定义: Stable Diffusion(简称SD)是一种人工智能生成图像的软件。通过输入文字描述,SD能够生成对应的图片,无需像以往那样需要手工\\\"绘制\\\"或\\\"拍摄\\\"照片。 Stable Diffusion 1.1、免费开源 Midjourney 需要开魔法使用,免费额度用完之后付费才能继续,最低 10 美元/月。

    2024年02月09日
    浏览(35)
  • stable diffusion实践操作-提示词

    stable diffusion实践操作 stable diffusion实践操作-提示词-人物属性 stable diffusion实践操作-提示词-人物服饰 stable diffusion实践操作-提示词-整体环境 stable diffusion实践操作-提示词-图片结构 stable diffusion实践操作-CLIP 本文专门开一节写提示词相关的内容. SD提示词是以词组作为单位的,

    2024年02月09日
    浏览(32)
  • stable diffusion实践操作-批次出图

    stable diffusion实践操作 本章主要介绍SD批次出图。 想要一次产生多张图片的时候使用。 生成批次和每批数量至少一个为1, 产生了一张合图和4张单独图片。 例如:以上就是今天要讲的内容。

    2024年02月09日
    浏览(29)
  • stable diffusion实践操作-hypernetworks

    本文专门开一节写hypernetworks的内容,在看之前,可以同步关注: stable diffusion实践操作 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 `本章注意要介绍Hypernetwork,也叫做超网络,下面是一个原理概述。 中文名字叫超网络,功能和embedding,lora类似,

    2024年02月10日
    浏览(28)
  • stable diffusion实践操作-LyCORIS

    stable diffusion实践操作 LyCORIS,可以理解为lora的加强版本。 LyCORIS - Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion. 超越传统Lora的方法,应用在SD上 github最新地址:https://github.com/KohakuBlueleaf/LyCORIS 本章根据B站A_Eye视频整理而来,再次感谢,如果想要看原

    2024年02月10日
    浏览(28)
  • 【AI折腾录】stable web ui基础【sd安装、lora vae embedding hyperwork等基础概念】

    转载请注明出处: 🔗https://blog.csdn.net/weixin_44013533/article/details/130297373 sd玩了很久了,自去年国庆刚出来,引起一片lsp欢呼,我那段时间也沉迷抽卡。 后续一段时间的炼丹潮也就没跟进了,然后又陆续出来一些大模型像anything3啥的,11月份之后又偶尔玩玩。 今年之后各种技术

    2024年02月06日
    浏览(26)
  • 〔010〕Stable Diffusion 之 VAE 篇

    VAE:是 Variational Auto-Encoder 的简称,也就是变分自动编码器 可以把它理解成给图片加滤镜,现在的很多大模型里面已经嵌入了 VAE ,所以并需要额外添加 VAE 如果你发现生成的图片在色彩,细节上有些颜色缺失或者失真,基本就是该模型中没有 VAE 导致的,需要手动使用 VAE 点

    2024年02月12日
    浏览(22)
  • stable diffusion实践操作-大模型介绍

    本文专门开一节写大模型相关的内容,在看之前,可以同步关注: stable diffusion实践操作 模型下载网站 国内的是:https://www.liblibai.com 国外的是:https://civitai.com(科学上网) 大模型从无到有训练大模型花费时间非常久,花费非常高,上百万美元: 在官方大模型的基础上再次

    2024年02月09日
    浏览(24)
  • stable diffusion实践操作-提示词-整体环境

    stable diffusion实践操作-提示词 本文主要收纳总结了提示词-整体环境。 画质 背景 场景 画风 镜头 [最高质量] [透明背景] [山] [轮廓加深] [正面视角] 英文=best quality 英文=transparent background 英文=mountain 英文=contour deepening 英文=pov [原创] [渐变的背景] [山上] [纯色块] [正面视角全身

    2024年02月10日
    浏览(31)
  • stable diffusion实践操作-提示词-人物属性

    stable diffusion实践操作-提示词 本文主要收纳总结了提示词-人物属性。 角色类型 人物 身材 胸部 头发-发型 头发-发色 [女仆] [霊烏路空] [大腿] [乳房] [呆毛] [紫发] 英文=maid 英文=reiuji utsuho 英文=thighs 英文=breasts 英文=ahoge 英文=purple hair [女巫] [琪露诺] [粗腿] [小乳房] [刘海] [银

    2024年02月10日
    浏览(30)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包