AI绘画 | stable-diffusion-web-ui的基本操作

这篇具有很好参考价值的文章主要介绍了AI绘画 | stable-diffusion-web-ui的基本操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

我们下载安装完成stable-diffusion-web-ui以后,下载对应风格的模型,就可以开始我们的绘画操作了。进行Ai绘画操作前,我们最好先弄清楚web ui界面上的参数按钮的含义。这样我们就能更轻松的绘画出我们想要stable-diffusion-web-ui创作出我们心中所想的佳作了!,下面开始讲解web ui的基本使用,有不清楚的小伙伴们,可以再评论区留言交流,喜欢的可以一件三连,反复观看!!!

基本操作

clip终止层数什么意思,AI绘画 | Stable diffusion,AI作画,stable diffusion,ui
这是我们点击秋叶启动器上的一键启动按钮后,自动打开的web页面。(如何没有自动打开这个界面,可以自己打开浏览器网址栏输入 http://127.0.0.1:7860 ),stable-diffusion-web-ui的原生界面不是这样,因为秋叶的整合了中文扩展插件,和其他的web ui扩展插件。界面才有所不同。后续讲web ui的扩展插件的安装使用和用途。

Stable Diffusion checkpoint(Stable Diffusion 模型)

通过模型网站下载我们想要的Checkpoint模型到 web ui根目录下的models\Stable-diffusion文件夹下,点击旁边的刷新按钮即可再下拉列表加载出来。下来选择自己想要使用的底模。这里我用的majicMIX realistic 麦橘写实大模型。
clip终止层数什么意思,AI绘画 | Stable diffusion,AI作画,stable diffusion,ui
为什么需要这么多大模型?
Stable Diffusion官方的模型就像一个百科全书。设计的内容广泛的,但是不精细。基于Stable Diffusion官方的模型,二次训练后的模型就像是在这个百科全书的基础上,更加精细化了某个方面的内容。

SD VAE (外挂 VAE 模型)

VAE是一种生成模型,它通过编码器和解码器的组合来学习数据分布。编码器将数据编码为潜在空间中的表示,解码器则从潜在空间中恢复出原始数据。VAE的目标是最小化编码和解码之间的差异,同时保持潜在空间的表示与先验分布的一致性。

具体来说,VAE包括一个均值向量和一个协方差矩阵。均值向量可以表示潜在空间的平均位置,而协方差矩阵则可以表示潜在空间中的不确定性。在训练过程中,VAE通过最大化ELBO(证据下界)来优化其对数据分布的建模。

SD VAE可以用于各种不同的任务,如图像生成、图像修复、文本生成等。在图像生成方面,VAE可以将生成的图像与先验分布进行比较,从而评估生成的图像的质量。在图像修复方面,VAE可以通过对图像进行编码和解码来去除噪声或进行超分辨率重建。在文本生成方面,VAE可以将文本编码为潜在空间中的表示,并从该表示中生成新的文本。

秋叶整合包内自带两个VAE模型animevae.ptvae-ft-mse-840000-ema-pruned.safetensors

animevae.pt

AnimeVAE是一种基于变分自编码器的模型,主要用于动漫风格的人脸图像合成。AnimeVAE模型的主要目标是通过将动漫风格的人脸图像编码为潜在空间中的表示,并从该表示中解码出新的动漫风格的人脸图像,来学习动漫风格的人脸图像的分布。

vae-ft-mse-840000-ema-pruned.safetensors

vae-ft-mse-840000-ema-pruned是一个经过剪枝(pruned)的变分自编码器(VAE)模型,使用了平均平方误差(MSE)损失函数,以及一个可能是指数移动平均(EMA)的权重剪枝策略。主要用于现实的模型或风格(由StabilityAI创建)

Clip skip (CLIP 终止层数)

Clip skip是指控制图像生成过程中CLIP模型的使用频率的参数。它影响了图像生成的过程中使用的CLIP模型的次数**。Clip skip的取值范围是1到12,值越小,生成的图像就越接近原始图像或输入图像。值越大,生成的图像就越偏离原始图像或输入图像,甚至可能出现黑屏或无关的人物。**

clip终止层数什么意思,AI绘画 | Stable diffusion,AI作画,stable diffusion,ui

prompt(提示词)

prompt是一种提示词,用于指导AI模型生成图像。它通常是一段文本描述,包括对图像内容、风格、主题等方面的描述。通过使用prompt,用户可以告诉AI模型他们希望生成的图像类型,从而影响AI模型生成的结果。

在Stable Diffusion中,prompt的使用方式比较灵活,可以通过不同的方式来生成图像。比如,用户可以通过输入一段文本描述,告诉AI模型他们希望生成的图像内容,然后AI模型会根据用户的描述生成相应的图像。另外,用户还可以通过调整prompt中的参数来控制AI模型生成图像的样式、颜色等。

  • positive prompt(正向提示词)
    正向提示词主要用于正面地引导AI模型生成符合要求的图像。即我们希望AI绘画的内容出现什么! 通常包含积极的、正面的词汇和描述,旨在让AI模型能够理解并生成与这些描述相符的图像。例如,“美丽的花朵”、“壮观的日出”等都属于正向提示词。
  • negative prompt(反向提示词)
    反向提示词则主要用于负面地引导AI模型避免生成不合适的图像。**即我们希望AI绘画的内容不要出现什么!**通常包含消极的、负面的词汇和描述,旨在让AI模型能够识别并避免与这些描述相符的图像。例如,“不要生成包含血腥暴力内容的图像”、“不要生成具有歧视色彩的图像”等都属于反向提示词。

在使用这两种提示词时,需要注意保持用词准确、明确,以便AI模型能够正确理解并生成相应的图像。同时,根据具体需求和应用场景,可以灵活地选择使用正向提示词还是反向提示词,或者将两者结合起来使用。

clip终止层数什么意思,AI绘画 | Stable diffusion,AI作画,stable diffusion,ui

Sampling steps(迭代步数)

  • Sampling steps中文翻译为 采样步数又称迭代步数。
  • Sampling steps是指在使用扩散模型生成图片时所进行的迭代步骤。每经过一次迭代,AI就有更多的机会去比对prompt和当前结果,并作出相应的调整。随着步数的增多,可以得到对目标更小、更精确的图像。但增加步数也会增加生成图像所需的时间,增加步数的边际收益递减。一般而言,步数在20~30步之间较为合适。

Sampling method (采样算法)

Sampling method(采样算法)是一种基于扩散模型的生成画像的方法。其过程是将一张满是噪点的图作为基准,然后一点一点地向目标(prompt)“扩散”靠近。这是一种算法,每一步之后将生成的图像与文本提示符要求的图像进行比较,并对噪声添加一些更改,直到逐渐达到与文本描述相匹配的图像。
clip终止层数什么意思,AI绘画 | Stable diffusion,AI作画,stable diffusion,ui
模型下载网站,每个checkpoint模型的作者都会推荐适合自己模型的采样算法。一般模型常用的采样算法主要是DPM++ SDE Karras、Euler a\Euler。

Width/Height (宽高)

clip终止层数什么意思,AI绘画 | Stable diffusion,AI作画,stable diffusion,ui
这个设置,主要作用于生成图片的宽和高的像素大小,一般推荐512512或者512768,因为大部分模型训练的图像样本都是这个大小,生成图片的大小和原图保持一直,生成的图片效果会更好,否则容易出现变形的情况,而且设置更大的尺寸,需要更大的显存和生成时间。如果想要高清的图片,我们可以用web ui 高清修复功能,让图片变得更大更清晰。

CFG Scale(提示词引导系数)

  • Stable Diffusion CFG Scale是一个控制提示词与出图相关性的数值。

  • CFG Scale可以从0-15进行调整。从日常的出图过程经验来看,CFG设置为5-10之间是最常规以及最保险的数值。过低的CFG会让出图饱和度偏低,过高的CFG则会出现粗矿的线条或过度锐化的图像,甚至于画面出现严重的崩坏。

  • 设置更高的提示词引导系数需要搭配更高的迭代步数,否者图片容易出现噪点和不正常的画面。(具体原因可以了解Diffusion 模型的原理)

  • cfg scale能够增加每个tag对画面整体的影响(cfg scale越高,tag权重和先后顺序的差异表现得越明显)。

Batch count/Batch size(总批次数/单批数量)

Stable Diffusion的Batch count和Batch size是两个重要的参数,用于控制生成图像的数量和速度。

  • Batch count(总批次数)是指一次性生成图像的数量。这个参数可以影响生成图像的时间和计算资源的消耗。较大的Batch count可以加快生成速度,但需要更多的计算资源和内存。

  • Batch size(单批数量)是指每个批次并行生成的图像数量。这个参数也可以影响生成图像的速度和计算资源的消耗。较大的Batch size可以加快生成速度,但需要更多的计算资源和内存。

  • 在选择Batch count和Batch size时,需要考虑您的硬件配置和生成需求。如果您的显卡内存较小,建议将Batch size设置为较小的值,以避免显存不足的问题。如果您的需求是生成大量图像,建议将Batch count设置为较大的值,以加快生成速度。

  • 需要注意的是,较大的Batch count和Batch size可能会导致生成图像的质量下降或出现其他问题,因此需要根据实际情况进行调整。

Seed/Variation seed(随机种子/变异随机种子)

seed

在Stable Diffusion中,seed参数可以用于控制随机性。当未填写随机种子时,默认值为-1,此时右侧骰子点击后能快速恢复到-1状态。绿色图标点击后能获取到右侧已生成图片的随机种子(若右侧无图片,点击后则获得到-1)。
clip终止层数什么意思,AI绘画 | Stable diffusion,AI作画,stable diffusion,ui
每个用Stable Diffusion生成的图片都会有一个随机种子。设置相同的随机种子,会生成几乎相同的图片,当然最终的图片也会受到提示词、checkpoint模型、vae、clip skip、迭代步数、采样算法、CFG Scale等参数的不同而有所变化,但是有些明显的特征会保留。

Variation seed

此外,点击勾选框,会出现变异随机种子的设置框。
clip终止层数什么意思,AI绘画 | Stable diffusion,AI作画,stable diffusion,ui
Variation seed是另一个控制随机性的参数,它与seed参数类似,但具有更高的自由度。Variation seed可以看作是额外的一个种子数,与seed数一起共同作用出图结果。这个参数可以控制差异化种子数的作用强度,从而影响生成图像的多样性和质量。

具体来说,当Variation seed为0时,差异化种子数不起作用,所以生成的图像和seed数作用的结果一样。而当Variation seed不为0时,它可以与seed数共同作用,以产生更多样化的图像。

在实际操作中,用户可以通过调整Variation seed的值来控制生成图像的多样性。例如,可以将Variation seed设置为一个固定的值,以获得相同类型的图像;也可以每次生成时随机选择一个Variation seed值,以获得更加多样化的图像。

需要注意的是,虽然Variation seed可以带来更多的自由度和多样性,但同时也可能导致生成图像的质量下降或出现其他问题。因此,在使用时需要根据实际情况进行调整,以保证生成图像的质量和多样性达到最佳的平衡。

Hires. fix(高清修复)

clip终止层数什么意思,AI绘画 | Stable diffusion,AI作画,stable diffusion,ui
Stable Diffusion的Hires. fix功能是用于高分辨率修复的。这个功能可以选中,并会弹出多个算法的选择。

一些常用的算法包括:

  • 4x-UltraSharp:这是目前最好用的放大算法。
  • R-ESRGAN 4x+:这是基于Real ESRGAN的优化模型,针对照片效果不错。
  • R-ESRGAN 4x+ Anime6B:这是基于Real ESRGAN的优化模型,二次元最佳,如果模型是动漫类的,该选项是最佳选择。
  • SwinIR_4x:这个算法使用Swin Transformer思想,采用一个长距离连接,将低频信息直接传输给重建模块,这可以帮助深度特征提取模块专注于高频信息,从而稳定训练。
  • LDSR:这是Latent Diffusion Super Resolution(潜在扩散超分辨率模型),是Stable Diffusion最基础的算法模型,但速度比较慢。
  • 除了上述算法外,还有其他一些算法,例如BSRGAN等。重绘幅度设置为0.6-0.8也是一个不错的选择。

Refiner

Refiner中文名为精炼机器,顾名思义就是让图片的内容和画质更加的精细。
clip终止层数什么意思,AI绘画 | Stable diffusion,AI作画,stable diffusion,ui
总共有两个选项,Checkpoint(模型)和 Switch at(切换时机),上图的意思是当Stable Diffusion采样过程进行到80%的时候,剩下的20%的采样切换为majicMix sombre 麦橘唯美_v1.0.safetensors模型进行采样。这样我们就可以获得两种模型画风融合的画作了。

起手式

clip终止层数什么意思,AI绘画 | Stable diffusion,AI作画,stable diffusion,ui
在“生成”按钮的下方。点击“画笔”按钮可以设置一些正向提示词和方向提示词的组合为一个标签,比如生成图片的画质的提示词组合,人物的基本提示词组合,分别设为一个标签,下次画人物画的时候,可以下来多选这两个起手式,不用再重复输入提示词了。(注意:选择起手式后提示词不会出现在提示词输入框内)
clip终止层数什么意思,AI绘画 | Stable diffusion,AI作画,stable diffusion,ui

图片生成

clip终止层数什么意思,AI绘画 | Stable diffusion,AI作画,stable diffusion,ui

  • 生成按钮 用来点击生成图片
  • 箭头按钮 用来恢复上次输入的提示词(包含正反提示词)
  • 笔记按钮 用来提交正向提示词的内容,会把之前的提示词覆盖掉。
  • 网格按钮 用来快速清楚正反提示词框的内容

结语

以上就是本篇文章的全部内容,大家可以尝试的设置这些参数生成一些图片了。当然你生成的图片的效果大概率不会很理想。以上所有参数中难度设置最大作用也最大的就是promts提示词了。如何才能写出更准确,更能让Ai理解的提示呢?下篇文章我会讲promts提示词的基本语法和进阶语法的使用,相信你Ai绘画的水平会得到进一步的提升。文章来源地址https://www.toymoban.com/news/detail-858434.html

到了这里,关于AI绘画 | stable-diffusion-web-ui的基本操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【AI绘图 丨 Stable_diffusion 系列教程三】— 无需配置环境 | Colab直接运行Stable Diffusion web UI并从civitai中导入lora模型

    目录 一、Google Colab的基本介绍 二、Google Colab 的使用  2.1 利用Google 浏览器搜索Google drive  2.2 注册一个Google 账号,点击转至账号登录  ​ 2.3 进入Google drive,点击转至Google 云端硬盘 2.4 创建一个新的Google Colaboratory 2.5 Google Colaboratory基本操作方法。 基本操作1:修改文件名、

    2024年02月09日
    浏览(49)
  • AI绘画Stable Diffusion

    安装包来自B站大佬 秋葉aaaki 安装教程 https://www.bilibili.com/video/BV1iM4y1y7oA?vd_source=2d34fd2352ae451c4f6d4cb20707e169 链接:https://pan.baidu.com/s/188_aaYrlNOlmQd_yrC8XYQ?pwd=3h2a 提取码:3h2a 将 (可选controlnet1.1预处理器),downloads丢程序如下路径 下载包里面 (可选controlnet1.1模型) *pth丢程序如下

    2024年02月11日
    浏览(74)
  • AI绘画Stable Diffusion技巧分享

    Prompt运用规则及技巧 AI绘画Stable Diffusion技巧分享资源: 1. https://publicprompts.art/(最适用于OpenArt 线上模型 https://openart.ai/) 2. https://docs.qq.com/doc/DWFdSTHJtQWRzYk9k(转自元素法典,含各类风格用词) 3. https://www.ptsearch.info/home/(实例查询) 4. http://prompttool.com/NovelAI(体验还不错)

    2024年02月02日
    浏览(48)
  • AI 绘画 | Stable Diffusion 提示词

    在Stable Diffusion中,Prompts是控制模型生成图像的关键输入参数。它们是一种文本提示,告诉模型应该生成什么样的图像。 Prompts可以是任何文本输入,包括描述图像的文本,如“一只橘色的短毛猫,坐在草地上,背景是蓝天白云”,也可以是的组合,如“鸟,森林,天空

    2024年01月21日
    浏览(54)
  • 【AI绘画】Stable Diffusion WebUI

    💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kuan 的首页,持续学习,不断总结,共同进步,活到老学到老 导航 檀越剑指大厂系列:全面总

    2024年02月08日
    浏览(74)
  • stable-diffusion AI 绘画

    git clone https://github.com/CompVis/stable-diffusion.git 进入stable-diffusion目录 在这里注册一个账号: Hugging Face – The AI community building the future. 并生成个token 安装CUDA NVIDIA 安装 CUDA_nvidia cuda_长满头发的程序猿的博客-CSDN博客 pip install torch -f https://download.pytorch.org/whl/torch_stable.html pip insta

    2024年02月13日
    浏览(48)
  • AI绘画Stable Diffusion进阶使用

    本文讲解,模型底模,VAE美化模型,Lora模型,hypernetwork。 文本Stable Diffusion 简称sd 欢迎关注 C站:https://civitai.com/ huggingface:https://huggingface.co/models?pipeline_tag=text-to-image stable diffusion webui 部署完成后,checkpoint是放底模 homewebuimodels 目录下 常见模式:后缀ckpt/safetensors 常见大小

    2024年01月22日
    浏览(67)
  • AI绘画(Stable Diffusion WBUI)

    一介绍使用的软件和大致原理 Stable Diffusion WBUI:Stable Diffusion WBUI是一种基于网络的应用程序,可以轻松地在任何现代Web浏览器中运行。它是Stable Diffusion软件的一个插件,旨在为用户提供更方便、更易于使用的界面来模拟和分析。 上面是该应用程序,通过访问http://127.0.0.1:786

    2024年02月09日
    浏览(51)
  • AI 绘画 | Stable Diffusion 图生图

    Stable Diffusion 不仅可以文生图,还可以图生图。文生图就是完全用提示词文本去生成我们想要图片,但是很多时候会有词不达意的感觉。就像我们房子装修一样,我们只是通过文字描述很难表达出准确的想要的装修效果,如果能给到一张设计图或者效果图,那么就能更加直白

    2024年02月03日
    浏览(74)
  • AI绘画:快速上手stable diffusion

    点击↑上方↑蓝色“ 编了个程 ”关注我~ 这是Yasin的第 89 篇原创文章 最近随着Chat GPT的大火,AI绘画也火了起来。尤其是midjourney(以下简称mj),能够通过文本生成AI图片,还能指定各种风格,简直是我们这种又菜又爱玩的福音。 下面是我用mj随便画的一些图: mj上手

    2023年04月22日
    浏览(64)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包