前言
Stable Diffusion的定义:
Stable Diffusion(简称SD)是一种人工智能生成图像的软件。通过输入文字描述,SD能够生成对应的图片,无需像以往那样需要手工"绘制"或"拍摄"照片。
Stable Diffusion
一、优点
1.1、免费开源
Midjourney 需要开魔法使用,免费额度用完之后付费才能继续,最低 10 美元/月。而 SD 在 B 站上有大神整理好的整合安装包,不用魔法,免费下载一键安装。 安装到本地的 SD 随开随用,生成的图片只有自己能看到,保密性更强。
1.2、拥有强大的外接模型
由于开源属性,SD 有很多免费高质量的外接预训练模型(fine-tune)和插件,比如可以提取物体轮廓、人体姿势骨架、画面深度信息、进行语义分割的插件 Controlnet,使用它可以让我们在绘画过程中精准控制人物的动作姿势、手势和画面构图等细节;插件 Mov2Mov 可以将真人视频进行风格化转换;SD 还拥有 Inpainting 和 Outpainting 功能,可以对图像进行智能局部修改和外延,这些都是目前 Midjourney 无法做到的。
国外:https://civitai.com/
国内:https://www.liblibai.com/
二、组成要素
组要有四大部分组成,分别是:
2.1 底模
大模型,决定了图片的基础风格,比如真实照片风格(chilloutmix模型),二次元漫画风格(Anything模型)
2.2 风格
Lora模型,决定了图片的细节风格,比如人物脸型(koreanDollLikeness),衣服款式(Beautiful_Dress)
2.3 提示词
描述画面的具体内容,正面提示词,负面提示词。
2.4 参数配置
迭代步数,采样模式等。
三、生图原理
stable diffusion实践操作-SD原理
四、下载链接
主要内容有:
1.前置包(无需使用,新手可直接跳过)
2.安装包
3.精选大模型
4.精选embedding
5.精选lora
6.精选 hypernetwork
7.精选姿势包
8.Contronet模型包
9.Vae
10.插件包
11.提示词合集(新加)
12.附录1处理器、GPU购买指南
链接:https://pan.quark.cn/s/218e0e20a915
非常感谢轩轩,大家可以看他的入门教程:入口
实践正文
一、安装
1.1 电脑硬件配置查看
链接入口:stable diffusion实践操作-电脑硬件查看
1.2 安装本地版本的stable diffusion
链接入口:stable diffusion实践操作-安装
1.3 SD使用教程
链接入口:stable diffusion实践操作-webUI教程-不是基础-是特例妙用
二、模型介绍与下载
2.1大模型
底模/大模型 是SD能够绘图的基础模型,控制图片整体风格,比如二次元anything,真实写照等。
安装完SD软件后,必须搭配基础模型才能使用。不同的基础模型,其画风和擅长的领域会有侧重。常见的模式,后缀ckpt,safetensors,大小在2-8G之间。
链接入口:stable diffusion实践操作-大模型介绍
链接入口:stable diffusion实践操作-大模型介绍-SDXL1大模型
下载后存放地址:sd-webui-aki-v4.2\models\Stable-diffusion
2.2 Lora模型
Lora是微调模型,某品牌汽车(特斯拉),人物姿势(剪刀手),可以固定我们照片的特征:人物特征、动作特征、还有照片风格。
链接入口:stable diffusion实践操作-常见lora模型介绍
下载后存放地址:sd-webui-aki-v4.2\models\Lora
2.3 VAE美化模型
VAE,全名Variational autoenconder,中文叫变分自编码器。作用是:滤镜+微调 ,名字中带有vae,后缀ckpt,pt
有的大模型是会自带VAE的,比如我们常用的Chilloutmix。如果再加VAE则可能画面效果会适得其反 。
链接入口:stable diffusion实践操作-VAE
下载后存放地址:sd-webui-aki-v4.2\models\VAE
2.4 Hypernetworks超网络模型
链接入口:stable diffusion实践操作-hypernetworks
下载后存放地址:sd-webui-aki-v4.2\models\hypernetworks
2.5 LyCORIS
此类模型也可以归为Lora模型,也是属于微调模型的一种。一般文件大小在340M左右。不同的是训练方式与常见的lora不同,但效果似乎会更好不少。
链接入口:stable diffusion实践操作-LyCORIS
下载后存放地址:sd-webui-aki-v4.2\models\LyCORIS
2.6 embedding(TEXTUAL INVERSION)
可以理解为提示词的集合,可以省略大量的提示词。主要是负向提示词,后缀safetensors,大小几十kb
链接入口:stable diffusion实践操作-embedding(TEXTUAL INVERSION)
下载后存放地址:sd-webui-aki-v4.2\embeddings
2.7 ControlNet
正常来说,秋叶安装包就有一些模型的,其余后期补充。
介绍链接:https://zhuanlan.zhihu.com/p/619721909
链接入口:stable diffusion实践操作-Controlnet
下载后存放地址:sd-webui-aki-v4.2\models\ControlNet
三、生图操作
4.1 基础- 提示词文生图
链接入口:stable diffusion实践操作-文生图
4.2 基础-png图片成文生图
链接入口:stable diffusion实践操作-图片生文字到图片
4.3 基础-图生图
链接入口:stable diffusion实践操作-图生图
4.4 基础-黑白稿线稿上色
链接入口:stable diffusion实践操作-黑白稿线稿上色
4.4 基础-局部重绘
链接入口:stable diffusion实践操作-局部重绘
4.x 进阶-文生图-组合
将需求进行拆分,熟练运用组合,比如:
- KoreranDollLikeness + Beautiful_dress + Chilloutmix
- MIX4 + 20D 黑丝 + Chilloutmix
链接入口: 进阶-文生图-组合(KoreranDollLikeness + Beautiful_dress + CHilloutmix)
四、参数介绍
4.1 提示词
提示词是SD中非常重要,你生成的图片质量,基本就取决于提示词的好坏,提示词分为正向提示词和反向提示词。
模板如下:画质 + 主体 + 主体细节 + 人物服装 + 其他(背景、天气、构图等)
Best quality,masterpiece,ultra high res,nu no humans,
(long:1.2),<lora:long-000020:0.8>, no humans, cloud,
architecture, east asian architecture, red eyes, horns,
open mouth, sky, fangs, eastern dragon, cloudy sky,
teeth, flying, fire, bird, wings.
链接入口:stable diffusion实践操作-提示词
4.2 CLIP 终止层数
链接入口:CLIP
4.3 采样方法和迭代步数
链接入口:采样方法
4.4 宽高设置以及高清修复
链接入口:stable diffusion实践操作-宽高设置以及高清修复
4.5 随机数种子(seed)
当使用相同的大模型、关键词、Lora模型和其他参数时,生成的图像可能与他人不同,其中一个影响因素是随机数种子(Seed)。
随机数种子控制了图像生成的底层形状,类似于画画时最开始的线稿。它决定了图像的基础轮廓,包括人物的外形轮廓、姿势和站位等。
当随机数为“-1”的时候,SD就会随机给你的照片生成一个种子,这个种子就理解成不一样的线稿就可以,你可以在生成的图像下方查看英文字符串中的seed值,以了解当前生成图像所使用的随机数种子。
链接入口:stable diffusion实践操作-随机种子seed
4.6 面部修复
这两个功能没有太多讲解,直接使用即可。
注意点如下:文章来源:https://www.toymoban.com/news/detail-701042.html
- 面部修复适用于生成真人照片。
- 高分辨率修复需要较好的电脑配置,配置较低的电脑不建议使用,否则可能无法生成照片
五.AI绘制内容
1.动画
如何使用AI绘制动画文章来源地址https://www.toymoban.com/news/detail-701042.html
到了这里,关于stable diffusion实践操作-writing的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!