Stable Diffusion入门修炼手册

这篇具有很好参考价值的文章主要介绍了Stable Diffusion入门修炼手册。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

简介

作为新入门的新手,通常安装完Stable Diffusion之后,一打开界面,在文生图输入girl或者dog,结果出来的画面比较糟糕,看起来像素很低,画面不清晰,人物也不怎么美,等等其他问题,总之就觉得自己生成的图片怎么跟别人差距那么大?是不是大家也曾经这样过来过?

Stable Diffusion入门修炼手册,stable diffusion,人工智能

今天就来教会大家,如何正确使用Stable Diffusion,掌握基础知识,能正确做出优秀的作品来,首先,先来个基本公式

  1. 一个优秀的作品=CheckPoint大模型+vae+优秀的prompt+embeding+Lora
  2. 一个4k优秀的作品=CheckPoint大模型+vae+优秀的prompt+embeding+Lora+Controlnet(Tile)增加细节+放大算法

Stable Diffusion入门修炼手册,stable diffusion,人工智能
Stable Diffusion入门修炼手册,stable diffusion,人工智能

主要角色

Stable Diffusion入门修炼手册,stable diffusion,人工智能

1、checkpoint(大模型)

这是我们常说的模型,也可以说是底模,必须指定一个才能作画,它是用来控制大整个画面的风格走势的。比如:写实风格,漫画风格等等,文件名后缀一般为.ckpt和.safetensors,模型大小为2G到8G不等。

checkpoint文件放置路径:\models\Stable-diffusion

2、Lora模型

它也是模型之一,它可以使用也可以不使用,它的出现只为了解决大模型能够微调的一种技术,它的作用主要用于雕刻人物、动漫角色、物品的特征、控制画风、固定特征动作等等。文件名后缀一般为.safetensors,大小在20mb到300mb不等,部分Lora会需要触发词来使用,否则效果不明显。

Lora放置路径:\models\lora

3、embedding

这是我们说的prompt集合,它可以用一个特殊表达式词语来代表一连串的关键词,让填写prompt更简单。举个例子,如果我们想要生成一个皮卡丘,通常需要输入很多描述词,如黄毛、老鼠、长耳朵、腮红等等。但是,如果在我们的embedding库中,已经引入皮卡丘的embedding,我们只需要输入皮卡丘。皮卡丘的embedding打包了所有皮卡丘的特征描述,这样我们就不用每次输入很多单词来控制生成的画面了。

embedding文件放置路径:\models\embedding

4、VAE

Vae也是模型之一,但它的作用只是给画面加载一个滤镜的效果,为了就是修正最终输出的图片色彩,如果不加载VAE可能会出现图片特别灰的情况。一般我们直接选用自动模型就可以了,它会自动帮我们解决这类问题。当然也有些特殊情况需要用到VAE来对色彩进行调节。文件后缀一般为.downloading、.safetensors、.ckpt、.pt

VAE文件的放置路径:\models\vae

prompt的使用

prompt的好坏会决定出图的质量,所以为什么有咒语这一说,因为需要很长的prompt来告诉AI具体要的是什么。于是咒语的优化和书写尤为重要,不过不用担心,市场上现在网站上已经出了很多优秀作品,他们的prompt是开源的,可以复制之后来学习,积累自己的prompt词。

  • propmt:正向提示词,表示在画面中需要出现的元素
  • negative propmt:负面提示词,表示在画面中不想要出现的元素

1、增加权重

增加权重会让Stable Diffusion出图的时候,会优先考虑画当前的关键词,当权重超过2.0之后,会让图片重复出现当前关键词,导致Stable Diffusion发挥失常

  • (tag):1.1倍
  • ((tag)):1.1x1.1=1.21倍,每套一层括号,额外x1.1倍
  • {tag}:1.05倍
  • {{tag}}:1.05x1.05=1.1025倍,每套一层大括号,额外x1.05倍

当然权重也不是越高越好的

Stable Diffusion入门修炼手册,stable diffusion,人工智能

2、减少权重

减少权重会让Stable Diffusion出图的时候,只是作为参考使用,当权重低于0.5的时候表示当前的关键词可有可无

  • [tag]:0.9倍
  • [[tag]]:0.9x0.9=0.81倍,每套一层括号,额外x0.9倍

3、精准权重

  • (tag:1.2):1.2倍
  • (tag:0.9):0.9倍

4、使用Lora

lora的使用是一个表达式,如下:

  • lora:bg:1.2:使用bg的Lora模型,权重为1.2
  • lora:bg:1.2,lora:bgV2:1.5:同样的多个Lora的使用也是可以的

Stable Diffusion入门修炼手册,stable diffusion,人工智能

市场上开源的Lora风格还是很多,像图上的盲盒风格(第一个),电影风格(最后一个)

5、使用embedding

embedding的使用非常简单,跟书写prompt一样,直接写到提示词上即可,前提是要下载好当前的embedding模型,不需要任何表达式。embedding最常用的例子就是生成的人物的时候,要求必须是完整的2个眼睛1个鼻子2个耳朵1个嘴巴5个手指,同样的也能在负面提示词中增加embedding,还是同样的人物,不能出现坏手,3个手指,4个手指等

Stable Diffusion入门修炼手册,stable diffusion,人工智能

很明显可以看出,在NP(negative prompt)中使用EasyNegative模型和没有使用NP的区别

  • 没有EasyNegative:手部明显画的很粗糙,不太像是人的手
  • 使用EasyNegative:手部比较正常,细节也是正常可观

prompt的进阶玩法

进阶玩法能更加精准控制prompt生成我们想要的图

1、混合

  • 混合:强制将不同的主体的元素特征进行混合出图,用AND把多种要素强制融合画进去
  • 语法:关键词1 AND 关键词2 AND 关键词3
  • 举例:1cat:2 AND 1dog AND 1tiger,想要生成一个狗、猫和老虎

Stable Diffusion入门修炼手册,stable diffusion,人工智能

2、渐变

  • 渐变:指的是在作画中,将元素进行过渡的过程
  • 语法:[from:to:when]
    • when:表示的迭代步数或比例(数值在0-1范围表示比例,1- 表示步数)
    • From:提示词,表示在 when 前的步数渲染 from 提示词
    • to:提示词,表示在 when 后的步数渲染 to 提示词
  • 举例:(1 girl ,[blue hair:red hair:5]):我们希望画一个女孩,能够有红色和蓝色的头发

Stable Diffusion入门修炼手册,stable diffusion,人工智能

3、交替渲染

  • 交替渲染:交替渲染更像是在作画时每一笔交替使用不同的主体特征进行作画的方式
  • 语法:[关键词1|关键词2]
  • 举例:[1dog|1cat|1tiger],一个狗、猫和老虎进行交替渲染

Stable Diffusion入门修炼手册,stable diffusion,人工智能

界面介绍

1、模型选项

模型选项就是顶部的几个选择栏,用来选择大模型和Vae模型使用,常用的就是换大模型,其他保持默认即可

Stable Diffusion入门修炼手册,stable diffusion,人工智能

2、提示词面板

提示词面板分2块,propmt和negative propmt

  • propmt:正向提示词,表示在画面中需要出现的元素
  • negative propmt:负面提示词,表示在画面中不想要出现的元素

Stable Diffusion入门修炼手册,stable diffusion,人工智能

3、功能按钮

功能按钮指的是右边这几个功能按钮

Stable Diffusion入门修炼手册,stable diffusion,人工智能

第一按钮他有两个功能

  1. 当你关掉软件后,点击这个按钮,就会读取你上一次做图的所有参数信息复制进来。
  2. 当你在其他模型网站中Copy Generation Data复制别人案例图片的所有配置信息,粘贴到提示词中,再点击这个按钮,就会自动读取配置信息的所有配置,并应用到自己的作画参数中

Stable Diffusion入门修炼手册,stable diffusion,人工智能

第二个按钮就是删除了,清空关键词

Stable Diffusion入门修炼手册,stable diffusion,人工智能

第三个按钮就是模型选择管理,可以选择现有的CheckPoint、Lora、embedding等模型仓库,点击模型即可应用

Stable Diffusion入门修炼手册,stable diffusion,人工智能

Stable Diffusion入门修炼手册,stable diffusion,人工智能

第四个按钮和第五个按钮是提示词模板功能

  1. 第四个是读取当前选定的模板风格所有提示词写入到提示词中
  2. 第五个是将当前的提示词,保存到新的模板中,方便下次使用

Stable Diffusion入门修炼手册,stable diffusion,人工智能

4、绘图参数面板

绘图参数面板的功能是比较多的,他可以通过拓展安装各种插件,来控制绘图的过程

Stable Diffusion入门修炼手册,stable diffusion,人工智能

1.采样步数

一般来说大部分时候采样部署只需要保持在20~30之间即可,更低的采样部署可能会导致图片没有计算完全,更高的采样步数的细节收益也并不高,只有非常微弱的证据表明高步数可以小概率修复肢体错误,所以只有想要出一张穷尽细节可能的图的时候才会使用更高的步数。(加大这个会导致出图变慢)

Stable Diffusion入门修炼手册,stable diffusion,人工智能

2.采样方法

采样方法即是Stable Diffusion中的去噪音过程,你可以理解为不同的算法,目前的采样方法较多,但是我们常用的就那几个,经过各方面的实验来说,带有++符号的采样方法是经过改进后的算法,建议找带有++符号的使用。

Stable Diffusion入门修炼手册,stable diffusion,人工智能

3.其他选项

Stable Diffusion入门修炼手册,stable diffusion,人工智能

  • 面部修复:在做一些人物图片的时候,防止人脸出现崩坏的情况,可以勾选,但如果你的提示词足够强大,就可以不开启
  • 高清修复:把基础生成的图片,按照你选择放大的倍率放大到指定分辨率之后再重新绘制图片
  • 宽度、高度:图片的长和宽
  • 生成批次和数量:生成几批图,一批几张图
  • 提示词相关性:图像与你的提示的匹配程度。增加这个值将导致图像更接近你的提示词,如果提示词比较烂,那么图像质量会有降低
  • 种子:生成图片的唯一标识,输入不同的种子,生成的图片不一样,seed值一样,那生成的图片也是一样

实操演示

这里实操一张4k的赛博朋克风格的手机壁纸,作为演示例子。手机屏幕4K分辨率=2160×3840 (9:16)

第一步:文生图

先通过简单的咒语,用写实风格的模型,固定的种子,生成1张540x960的图,作为现在的手机像素540勉强有点说不过去,所以增加高清修复功能,放大到2倍,也就是生成的图是1080x1920
Stable Diffusion入门修炼手册,stable diffusion,人工智能
Stable Diffusion入门修炼手册,stable diffusion,人工智能

第二步:增加Lora模型

在咒语中增加赛博朋克的Lora模型,让当前风格增加些赛博朋克元素,当前用的是超写实赛博朋克美女的Lora,记得提前下载
Stable Diffusion入门修炼手册,stable diffusion,人工智能
Stable Diffusion入门修炼手册,stable diffusion,人工智能

很明显图片更加的靠近游戏的赛博朋克风格

第三步:发送到图生图,启用Controlnet的Tile模型

将当前的图片发送到图生图
Stable Diffusion入门修炼手册,stable diffusion,人工智能

在图生图的Controlnet插件中,选择启用,选用tile模型,tile模型可以极大限度提升当前图片的细节,将重绘幅度调为0.9,点击生成

Stable Diffusion入门修炼手册,stable diffusion,人工智能
Stable Diffusion入门修炼手册,stable diffusion,人工智能

很明显图片的细节和色彩更加丰富

第四步:将图片发送到后期处理,进行放大算法处理

由于我们现在生成的是高清修复后的1080,距离4k像素还有2倍的距离,所以我们将当前图片放大2倍,选择R-ESRGAN 4x+放大算法

Stable Diffusion入门修炼手册,stable diffusion,人工智能
Stable Diffusion入门修炼手册,stable diffusion,人工智能

图片超过5m上传不了,这里只能截图展示啦

到这里我们就生成出一张像素为2160×3840赛博朋克风格的手机壁纸,到这里就掌握了Stable diffusion的入门操作啦文章来源地址https://www.toymoban.com/news/detail-662719.html

到了这里,关于Stable Diffusion入门修炼手册的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 人工智能实战:Stable Diffusion技术分享

    背景 Stable Diffusion是计算机图形学和可视化领域中的一项重要技术。在这篇分 享中 ,我们将深入探讨稳定扩散的原理、关键要素和实施步骤 ,通过了解Stable Diffusion的流程化 ,我们可以提升自身的设计能力和创造力 ,为公司 和个人注入更多的价值和创意。 美术制定 美术风

    2024年01月19日
    浏览(50)
  • 神奇的人工智能之神笔马良|Stable Diffusion使用

    1,月球上骑马的宇航员。 image generate by stable-diffusion model 2,下棋的狗 image generate by stable-diffusion model 3,沉迷学习的史努比 image generate by stable-diffusion model 4,鲤鱼跃出海面

    2024年02月09日
    浏览(48)
  • 人工智能AI系列 - java 版的stable diffusion 图像生成

    图像生成 文生图:输入提示词(仅支持英文),生成图片(仅支持英文) GPU版本 StableDiffusionGPU.java CPU版本 StableDiffusionCPU.java 图生图:根据图片及提示词(仅支持英文)生成图片 GPU版本 Img2ImgStableDiffusionGPU.java 显卡CUDA:11.7版本 参考测试数据:分辨率 512*512 25步 CPU(i5处理器

    2024年02月09日
    浏览(74)
  • AI绘图提示词系列-提示词表(Stable Diffusion Prompt 设计师操作手册)

    ((nsfw)),((ugly))),(((duplicate))),((morbid)),((mutilated)),(((tranny))),(((trans))),((trannsexual))),(((mutation))),(((deformed)))(((long neck))),((bad anatomy))(((bad proportions))),(((extra arms))),(((extra legs))), (((disfigured))),((more than 2 nipples))),malformed,mutated,(hermaphrodite),((extra limbs)).((missing arms)).((missing legs)).((poorly drawn

    2024年02月14日
    浏览(59)
  • 【stable diffusion】保姆级入门课程-Stable diffusion(SD)介绍与安装

    目录 0.学前准备 1.什么是AI绘画 2.当前主流的AI绘画工具 3.什么是SD(stable diffusion) 4.SD能做什么 1.文生图 2.图生图 3.AI换模特,背景 5.使用stable diffusion配置要求 6.环境配置与安装 需要注意的地方: 扩展知识: 1.python 2.git 3.控制界面 7.SD的原理 8.结语 不需要了解相关知识的可以直

    2024年02月16日
    浏览(74)
  • Stable Diffusion绘画入门

    目前开源的最火爆的AI绘画系统是 Stable Diffusion 模型(稳定扩散模型)。 可以完成 text2img, img2img, depth2img【深度图转图像】, seg2img【语义分割图转图像】 等基于提示信息【prompt】的图画创作功能。 其核心原理简要总结如下: 1,通过Attention机制引入text /semantic_map/ input_image .

    2023年04月08日
    浏览(42)
  • stable diffusion使用入门

    目录 1、stable diffusion简要说明 2、安装stable-diffusion-webui (1)下载地址 (2)执行启动命令 3、Lora模型介绍 4、模型下载 (1)Lora模型使用 (2)底座模型使用 根据文本的描述产生详细图像,它是一种潜在 扩散模型 。 (1)反向提示词:允许用户指定模型在图像生成过程中应该

    2024年02月07日
    浏览(31)
  • stable diffusion入门

    1.1 什么是stable diffusion Stable Diffusion译为稳定扩散,是一个开源的图像生成AI系统,由Anthropic公司开发,我们可以通过文字描述生成图片,让AI根据我们的想象画出一幅图来,也可以通过图像生成图片,将现实世界中的照片经过AI处理变成二次元画风 其原理是增加噪声,去除噪声的过程

    2024年01月23日
    浏览(39)
  • 【stable diffusion】保姆级入门课程03-Stable diffusion(SD)图生图-涂鸦(绘图)的用法

    目录    0.本章素材 1.涂鸦有什么用 2.涂鸦的使用场景是什么 3.操作面板 4.提示词与涂鸦 5.涂鸦与重绘幅度 6.涂鸦的其他用法(自由创作) 7.课后训练 涂鸦(绘图)和图生图一样,都会基于重绘幅度改变整张图片的整张画风,构图,姿势 等,这点是需要同学们注意的 涂鸦就是用画笔

    2024年02月16日
    浏览(66)
  • Stable Diffusion入门笔记(自用)

     学习视频:20分钟搞懂Prompt与参数设置,你的AI绘画“咒语”学明白了吗? | 零基础入门Stable Diffusion·保姆级新手教程 | Prompt教学_哔哩哔哩_bilibili 无数字  有数字  权重范围最好在1±0.5。可采用同类型词条来补足小于0.5大于1.5的内容。 ps:在词的右边按住ctrl+上下键,

    2024年02月16日
    浏览(30)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包