Stable Diffusion使用入门教程

这篇具有很好参考价值的文章主要介绍了Stable Diffusion使用入门教程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文参考bilibili的链接:B站第一套系统的AI绘画课!零基础学会Stable Diffusion,这绝对是你看过的最容易上手的AI绘画教程 | SD WebUI 保姆级攻略_哔哩哔哩_bilibili

目录

 一、prompt提示词

1、概况

2、prompt分类

3、提示词的权重分配

4、反推提示词

5、提示词网站

二、WebUI参数说明

1、文生图参数

2、图生图参数

3、inPaint局部重绘及参数

三、模型

1、模型类型

(1)大模型

(2)Embeddings

(3)LoRa:低秩模型

(4)Hypernetwork 超网络

2、模型分类及top模型名称

(1)二次元模型

(2)真实系模型

(3)2.5D风格模型

四、分辨率放大的工具

1、高清修复Hires.fix

2、SD UpScale

五、AI绘画入门级扩展插件

1、中文本地化语言包

2、图库浏览器

3、提示词自动补全

4、提示词反推

5、Upscale放大扩展

6、局部细化重绘

7、提示词语义分割

8、无限放大动画视频

六、ControlNet插件

1、概括说明

2、安装

3、比较流形的5个ControlNet模型

(1)Openpose模型

(2)Depth模型

(3)Canny模型

(4)HED模型

(5)Scribble模型

3、MultiControlNet


首先提几个好玩的名词:

炼丹:训练AI学习图片生成模型

咒语:prompt提示词

 一、prompt提示词

1、概况

包含内容:作品主题、画风、形象特点以及一些具体包含的要素

提示词的语法规则:

  • 提示词需要英文书写
  • 提示词以词组作为单位

2、prompt分类

(1)人物及主体特征

服饰穿搭:white dress

发型发色: blonde hair, long hair

五官特点:small eyes, big mouth

面部表情:smiling

肢体动作:stretching arms

(2)场景特征

室内、室外:indoor / outdoor

大场景:forest, city, street

小细节:tree, bush, white flower

(3)环境光照

白天黑夜:day / night

特定时段:morning, sunset

光环境:sunlight, bright, dark

天空:blue sky, starry sky

(4)补充:画幅视角

距离:close-up, distant

人物比例:full body, upper body

观察视角:from above, view of back

镜头类型:wide angle, Sony A7 III

(5)画质

通用高画质:

Best quality最高的质量

Ultra-detailed 超级细节

Masterpiece 杰作

Hires 高分辨率

8k 8k分辨率

特定高分辨率类型:

Extremely detailed CG unity 8k wallpaper 超精细的8K Unity游戏CG

Unreal engine rendered 虚幻引擎渲染

3、提示词的权重分配

(1)括号加数字

(white flower:1.5) 调节白花的权重为原来的1.5倍(增强)

(white flower:0.8) 调节白花的权重为原来的0.8倍(减弱)

(2)套括号

圆括号:(((white flower))) 每套一层,额外*1.1倍

大括号:{{{white flower}}} 每套一层,额外*1.05倍

方括号:[[[white flower]]] 每套一层,额外*0.9倍

4、反推提示词

Stable Diffusion使用入门教程

可以识别图像已有的成分,再总结成AI的字典里有的东西,来帮助你更准确地向AI描述一些东西。

DeepBooru和CLIP是两种不同的图像识别算法,DeepBooru的速度和识别准确率都更具有优势。

5、提示词网站

AI绘画提示词生成器 - 一个工具箱 - 好用的在线工具都在这里!

Stable Diffusion使用入门教程

二、WebUI参数说明

1、文生图参数

(1)采样迭代步数:去噪迭代次数,一般超过20次后面提升不大

(2)分辨率:分辨率太大,可能会出现多人多手多脚的情况,AI在训练的时候用的图片分辨率一般都比较小,如果分辨率太大就会被认为是多张图片拼接而成的。如果需要高分辨率的图片,先绘制512*512的图片,再通过”hires.fix”进行高清修复。

(3)”restore faces”面部修复,采用一些对抗算法识别人物面部并进行修复。

(4)”Tiling”平铺,用来生成那种可以无缝贴满整个屏幕的纹理性图片

(5)生成批次:为了追求一张完美的图片可能会用一套提示词生成多次,通过该功能可以一次生成多张图片,它提供了所有图片合在一起的预览图以及各张图片。

Stable Diffusion使用入门教程

2、图生图参数

Denoising strength:重绘幅度,它跟原图有多像的权重

3、inPaint局部重绘及参数

它就像我们写作业时使用的涂改液、修正带一样,它可以针对一张大图里的某一个区域覆盖重画。既能修正错误,又不至于把整张纸撕掉重画一遍。

它利用图生图的方式对局部重绘了一下,然后又拼回到原图中。

蒙版(mask):泛指一些用以限定处理区域的范围对象。蒙住了某些关键区域的版子。

Inpaint Sketch:绘制。画上去的有颜色的线条会同时构成这个画面的一部分,并参与到图生图的过程里。

Stable Diffusion使用入门教程

三、模型

1、模型类型

模型下载网站:hugging face / civitai

(1)大模型

Checkpoint 检查点或者关键点模型,叫ckpt大模型,一般2~7GB之间

Safetensor 通常1~2GB,也是大模型,是训练者们为了使模型变得更加可靠、高效而专门开发的

(2)Embeddings

文本嵌入,对应C站的Model types是”Textual Inversion”,即文本倒置

Embeddings文件都非常小,一般就几十KB

如果是checkpoint是一本大字典,那么Embeddings就像上面的一片小“书签”,它能够精准地指向个别字、词的含义,从而提供一个极其高效的索引。

Embeddings本身不包含信息,只是一个标记而已。

Embeddings可以为我们指向某一种特定的形象

文件后缀是pt,下载后放在models文件夹旁边的同名文件夹embeddings里面。

Embeddings不需要额外的调用,只需要在提示词里面用特定的prompt去召唤它

(3)LoRa:低秩模型

LoRa的作用在于向AI传递、描述某一个特征准确、主体清晰的形象。

可以让AI学习一些原本不存在于它的世界里的东西。

如果说embeddings是一张书签,那么Lora就是一张彩页,它直接就在纸上写明白了形象的特点,可以用什么样的方式去呈现出来。

Lora的位置是在models下面的Lora子文件夹。

使用lora的方式,直接在提示框中输入即可:

Stable Diffusion使用入门教程

训练大模型的最低要求是拥有12G以上的显存,但训练LoRA模型可能只需要8G甚至更低。常规的大模型至少会占用2个G以上的存储空间,但最大的LoRA模型也不会超过200M。

它需要和checkpoint搭配使用,从而实现对这个checkpoint在某些方面的“微调”。

(4)Hypernetwork 超网络

它能实现的效果和Lora差不多的。

可以让AI学习一些原本不存在于它的世界里的东西。

Hypernetwork一般用于改善生成图像的整体风格。不太需要使用,后面直接用LORA即可

2、模型分类及top模型名称

Stable Diffusion使用入门教程

(1)二次元模型

Anything V5:用于动漫、插画、角色立绘等的画面风格

Counterfeit:插画风模型,细节还原度高

Dreamlike Diffusion:漫画插画风模型,打造梦幻般、具有幻想色彩的画面和作品

(2)真实系模型

Deliberate:超级升级版的SD官方模型,非常精细、全面的写实风格

Realistic Vision:朴素且有整活空间,用来做人像、食物、动物图片,做些具有真实感的假新闻照片

LOFI:精致的照片级人像专精模型,对人物面部处理比前两个更加精致

(3)2.5D风格模型

NeverEnding Dream:非常适合“三次元化”的2.5D模型,结合Lora进行动漫游戏角色的二次创作

Photorealism:优秀的照片效果和创意发挥空间

Guofeng3:实现“文化输出”的国风精致模型

四、分辨率放大的工具

1、高清修复Hires.fix

Upscale by:放大倍率,指将这个图片由原始分辨率放大到多少

Hires steps:高清修复采样次数,高清修复需要经过一次重绘,因此需要设置采样步数。保持默认的0数值,它会和我们设置的采样迭代次数(20)保持一致。

Denoising strength:重绘幅度,等同于图生图中的重绘幅度。

生成过程:SD会先绘制一份低分辨率的图像,再根据它画第二幅高分辨率的图像。它的本质就是把这个低分辨率成品“图生图”一次,打回潜空间内重新去噪,从而得到一张更大的图片。

高清修复本质:打回重画,再来一副!适合文生图

  • 优势:

不会改变画面构图(经由随机种子固定);

稳定克服多人、多头等由分辨率产生的问题;

操作简单、清晰、直观。

  • 缺陷:

仍然受到最大显存的限制;

计算速度相对较慢,画一次等于常规情况下画两到三次

偶尔“加戏”,出现莫名的额外元素

2、SD UpScale

图生图中把图片分辨率放大的好帮手。

脚本:

Stable Diffusion使用入门教程

选择SD upscale

Stable Diffusion使用入门教程

它的绘制过程:和高清修复的“打回重画”截然不同,它是通过把这张图均匀地切成4块去画的,逐一画4块然后再拼在一起。

如果只是机械地切成4块,那么相邻图块之间地接缝处肯定会出现非常生硬地过渡边缘,于是,通过tile overlap像素重叠就会起到一个“缓冲带”的作用。

Stable Diffusion使用入门教程

优势:

可以突破内存限制获得更大的分辨率

画面精细度高,对细节的丰富效果出色

缺陷:

分割重绘的过程较为不可控(语义误导和分界线割裂)

操作繁琐且相对不直观

偶尔“加戏”,出现莫名的额外元素

五、AI绘画入门级扩展插件

Stable Diffusion使用入门教程

所有和扩展有关的功能都被集中收纳在这个”Extensions”标签里进行管理。

插件被统一安装在根目录下“Extension”的文件夹里,每一个扩展是一个单独的文件夹。

1、中文本地化语言包

Stable Diffusion使用入门教程

GitHub - hanamizuki-ai/stable-diffusion-webui-localization-zh_Hans: SD-WebUI 简体中文翻译扩展

2、图库浏览器

Stable Diffusion使用入门教程

 GitHub - yfszzx/stable-diffusion-webui-images-browser: an images browse for stable-diffusion-webui

3、提示词自动补全

Stable Diffusion使用入门教程

 https://github.com/DominikDoom/a1111-sd-webui-tagcomplete

它是基于本地的一个Booru词库实现的。

这个插件还能进行中文输入,然后切换成英文进行输入。

Stable Diffusion使用入门教程

4、提示词反推

Stable Diffusion使用入门教程

 https://github.com/toriato/stable-diffusion-webui-wd14-tagger.git

比CLIP和DeepBooru更高效的反推工具。

5、Upscale放大扩展

Stable Diffusion使用入门教程

 https://github.com/Coyote-A/ultimate-upscale-for-automatic1111.git

安装完成后没有独立tab,而是出现在脚本中。

6、局部细化重绘

Stable Diffusion使用入门教程

https://github.com/hnmr293/sd-webui-llul 

与第5个工具相比,它不会让一整张图片变得特别大,而是把一些局限于尺寸没法变得更精致的部分给“放大”一下。

它在于不改变原有的结构,就可以为画面带来更加丰富的细节。

7、提示词语义分割

Stable Diffusion使用入门教程

https://github.com/hnmr293/sd-webui-cutoff.git 

解决提示词之间的相互干预。

扩展的原理如下:

Stable Diffusion使用入门教程

它会将里面的每一个提示词的“描述性”成分抽取出来单独处理,再结合回原画里面。

8、无限放大动画视频

Stable Diffusion使用入门教程

https://github.com/v8hid/infinite-zoom-automatic1111-webui.git 

Stable Diffusion使用入门教程

我们可以去想象它的场景在不断往外延伸,最终生成动画视频。

六、ControlNet插件

1、概括说明

在此之前,基于扩散模型的“AI绘画”是非常难以控制的,去扩散这张图片的过程充满了随机性。

在原理上,ControlNet和LoRA是有许多相似之处,定位都是对大扩散模型做微调的额外网络。它的核心作用是根据一些额外信息控制扩散走向。

比如“姿势”,如果只是通过提示词输入一个“跳舞”,那么画面中的角色、人物可能会有无数种舞蹈姿势,ControlNet的精髓在于可以给他输入一张记录了某种特定“姿势”信息的图片来指导它作图。ControlNet能够读懂下面信息。

Stable Diffusion使用入门教程

2、安装

 插件下载地址:GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet 

 下载后同样放在extensions目录下即可,重启生效后就可以在文生图或图上图的下方看到该插件。

Stable Diffusion使用入门教程

此时还没法使用ControlNet,因为需要下载相应的控制模型才能工作,对应模型的下载地址为:

lllyasviel/ControlNet-v1-1 · Hugging Face

下载完一个模型之后,需要把它放在ControlNet文件夹内的models文件夹里,注意:同名的pth模型文件和yaml配置需要一起放置。

ControlNet插件的Annotator功能能够从图片中提取对ControlNet有用的额外信息。

Stable Diffusion使用入门教程

Control Weight:决定这个控制效应在图片中呈现出来的强度。后面两个选项,会影响在图像不断扩散的过程中什么时候加入ControlNet的影响。默认的0到1代表从头到尾全程生效。

3、比较流形的5个ControlNet模型

Stable Diffusion使用入门教程

(1)Openpose模型

直接掌握了人物体态呈现的“命脉”。

下图为openpose-hand

Stable Diffusion使用入门教程

下面为openpose-face

Stable Diffusion使用入门教程

(2)Depth模型

它的重点是对场景的描绘还原,尤其是富有空间感的多层次场景

Stable Diffusion使用入门教程

(3)Canny模型

来自于图像处理领域的一种边缘检测算法。

Stable Diffusion使用入门教程

(4)HED模型

整体边缘线条检测。

Stable Diffusion使用入门教程

输入的线条相对Canny更加模糊,两者对比如下:

Stable Diffusion使用入门教程

Canny更关注人物内部的细节,HED这一类处理只会把大的轮廓保留下来,内部其实是有更大的发挥空间的。

(5)Scribble模型

涂鸦。

Stable Diffusion使用入门教程 得到:Stable Diffusion使用入门教程

3、MultiControlNet

多重ControlNet文章来源地址https://www.toymoban.com/news/detail-494650.html

到了这里,关于Stable Diffusion使用入门教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Stable Diffusion 绘画入门教程(webui)

    随着mj和sd绘画软件发布之后,AI绘画开始爆火,很多小伙伴已经挖掘出很多的玩法,哪怕最基础的AI美女、AI壁纸、真人漫改等等都赚的盆满钵满,当然现在入局也不算晚,不同的行业基础依然能开发出很多有趣的玩法。 随着使用的深入,各路大神挖掘出更多的玩法,比如创

    2024年02月21日
    浏览(41)
  • 【AI绘图 丨 Stable_diffusion 系列教程一】— Window 环境 | Stable Diffusion入门教程 及安装(上篇)

    不过确实,Midjourney生成的图片很难精准的控制,随机性很高,需要大量的跑图(为此我也回复了很多很多信息就是让小伙伴们多跑图...),不过没关系,受到社群小伙伴们的强烈建议(也包括我可以少回复点消息),我在这篇文章中为大家分享SD的教程。 这时候肯定有朋友心

    2024年02月09日
    浏览(50)
  • 【AI绘图 丨 Stable_diffusion 系列教程四】— Window 环境 | Stable Diffusion入门教程 及安装(全篇)

      最近,AI图像生成引人注目,它能够根据文字描述生成精美图像,这极大地改变了人们的图像创作方式。Stable Diffusion作为一款高性能模型,它生成的图像质量更高、运行速度更快、消耗的资源以及内存占用更小,是AI图像生成领域的里程碑。本篇文章作者将手把手教大家入

    2024年02月13日
    浏览(64)
  • stable diffusion webui 教程:安装与入门

    Stable diffusion是一种用于图像处理的算法,主要用于处理图像中的噪声问题。该算法的源代码和实现可以根据不同的编程语言和库进行实现,以下是对Python中使用的源代码进行分析: 1.导入库和模块 该算法主要使用了NumPy和OpenCV库,前者是Python中用于数值计算的基础库,后者是

    2024年02月09日
    浏览(42)
  • Stable Diffusion 绘画入门教程(webui)-提示词

    通过上一篇文章大家应该已经掌握了sd的使用流程,本篇文章重点讲一下提示词应该如何写 AI绘画本身就是通过我们写一些提示词,然后生成对应的画面,所以提示词的重要性不言而喻。 要想生成更加符合自己脑海里画面的图片,就尽量按照标准化把提示词按照模版写

    2024年02月21日
    浏览(47)
  • InsCode Stable Diffusion使用教程(非常详细)从零基础入门到精通,看完这一篇就够了_outpainting 模型下载

    先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7 深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前! 因此收集整理了一份《2024年最新HarmonyOS鸿蒙全套学习资料

    2024年04月17日
    浏览(54)
  • Stable Diffusion超详细教程!从0-1入门到进阶

    前言 目前市面上比较权威,并能用于工作中的AI绘画软件其实就两款。一个叫Midjourney(简称MJ),另一个叫Stable-Diffusion(简称SD)。MJ需要付费使用,而SD开源免费,但是上手难度和学习成本略大,并且非常吃电脑配置(显卡、内存)。 E和Midjourney相比,Stable Diffusion 最大的优

    2024年02月08日
    浏览(35)
  • 【AI绘画】Stable Diffusion学习——入门教程和模型介绍(二)

    Stable Diffusion Web UI界面参数说明: Stable Diffusion 模型俗称大模型(Checkpoint),是最重要的模型,有它才可以生成图像,用于确立基本画风。 文件的存放路径: 根目录modelsStable-diffusion 推荐两个大模型 ① Stable Diffusion开源的1.5版本模型(偏真实风格) 模型下载地址:https://

    2024年01月18日
    浏览(44)
  • Stable diffusion入门教程!如何快速搞定安装和插件(附插件打包)

    今天我会分享更简单的整合包安装,以及考虑到有些朋友的电脑硬件可能不给力,也分享一种最简单的云端安装方式。最后还会分享好用的绘画插件以及 AI 绘画资源包,值得收藏和分享。 更多Stable Diffusion 教程: 一、一键安装 Stable diffusion 整合包 对于使用 windows 系统的朋

    2024年02月06日
    浏览(42)
  • Stable Diffusion 系列教程 - 3 模型下载和LORA模型的小白入门

    首先,一个比较广泛的模型下载地址为:Civitai Models | Discover Free Stable Diffusion Models 黄框是一些过滤器,比如checkpoints可以理解为比如把1.5版本的SD模型拷贝一份后交叉识别新的画风或场景后得到的模型,可以单独拿出来使用。 Hypernetwork和lora在特定场景下都非常好用。我们以

    2024年02月03日
    浏览(231)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包