stable diffusion实践操作-writing

这篇具有很好参考价值的文章主要介绍了stable diffusion实践操作-writing。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言


Stable Diffusion的定义:
Stable Diffusion(简称SD)是一种人工智能生成图像的软件。通过输入文字描述,SD能够生成对应的图片,无需像以往那样需要手工"绘制"或"拍摄"照片。

Stable Diffusion

一、优点

1.1、免费开源

Midjourney 需要开魔法使用,免费额度用完之后付费才能继续,最低 10 美元/月。而 SD 在 B 站上有大神整理好的整合安装包,不用魔法,免费下载一键安装。 安装到本地的 SD 随开随用,生成的图片只有自己能看到,保密性更强。

1.2、拥有强大的外接模型

由于开源属性,SD 有很多免费高质量的外接预训练模型(fine-tune)和插件,比如可以提取物体轮廓、人体姿势骨架、画面深度信息、进行语义分割的插件 Controlnet,使用它可以让我们在绘画过程中精准控制人物的动作姿势、手势和画面构图等细节;插件 Mov2Mov 可以将真人视频进行风格化转换;SD 还拥有 Inpainting 和 Outpainting 功能,可以对图像进行智能局部修改和外延,这些都是目前 Midjourney 无法做到的。
国外:https://civitai.com/
国内:https://www.liblibai.com/

二、组成要素

组要有四大部分组成,分别是:

2.1 底模

大模型,决定了图片的基础风格,比如真实照片风格(chilloutmix模型),二次元漫画风格(Anything模型)

2.2 风格

Lora模型,决定了图片的细节风格,比如人物脸型(koreanDollLikeness),衣服款式(Beautiful_Dress)

2.3 提示词

描述画面的具体内容,正面提示词,负面提示词。

2.4 参数配置

迭代步数,采样模式等。

三、生图原理

stable diffusion实践操作-SD原理

四、下载链接

主要内容有:
1.前置包(无需使用,新手可直接跳过)
2.安装包
3.精选大模型
4.精选embedding
5.精选lora
6.精选 hypernetwork
7.精选姿势包
8.Contronet模型包
9.Vae
10.插件包
11.提示词合集(新加)
12.附录1处理器、GPU购买指南

链接:https://pan.quark.cn/s/218e0e20a915
非常感谢轩轩,大家可以看他的入门教程:入口

实践正文


一、安装

1.1 电脑硬件配置查看

链接入口:stable diffusion实践操作-电脑硬件查看

1.2 安装本地版本的stable diffusion

链接入口:stable diffusion实践操作-安装

1.3 SD使用教程

链接入口:stable diffusion实践操作-webUI教程-不是基础-是特例妙用

二、模型介绍与下载

2.1大模型

底模/大模型 是SD能够绘图的基础模型,控制图片整体风格,比如二次元anything,真实写照等。
安装完SD软件后,必须搭配基础模型才能使用。不同的基础模型,其画风和擅长的领域会有侧重。常见的模式,后缀ckpt,safetensors,大小在2-8G之间。

链接入口:stable diffusion实践操作-大模型介绍
链接入口:stable diffusion实践操作-大模型介绍-SDXL1大模型
下载后存放地址:sd-webui-aki-v4.2\models\Stable-diffusion

2.2 Lora模型

Lora是微调模型,某品牌汽车(特斯拉),人物姿势(剪刀手),可以固定我们照片的特征:人物特征、动作特征、还有照片风格。

链接入口:stable diffusion实践操作-常见lora模型介绍

下载后存放地址:sd-webui-aki-v4.2\models\Lora

2.3 VAE美化模型

VAE,全名Variational autoenconder,中文叫变分自编码器。作用是:滤镜+微调 ,名字中带有vae,后缀ckpt,pt
有的大模型是会自带VAE的,比如我们常用的Chilloutmix。如果再加VAE则可能画面效果会适得其反 。

链接入口:stable diffusion实践操作-VAE

下载后存放地址:sd-webui-aki-v4.2\models\VAE

2.4 Hypernetworks超网络模型

链接入口:stable diffusion实践操作-hypernetworks

下载后存放地址:sd-webui-aki-v4.2\models\hypernetworks

2.5 LyCORIS

此类模型也可以归为Lora模型,也是属于微调模型的一种。一般文件大小在340M左右。不同的是训练方式与常见的lora不同,但效果似乎会更好不少。

链接入口:stable diffusion实践操作-LyCORIS

下载后存放地址:sd-webui-aki-v4.2\models\LyCORIS

2.6 embedding(TEXTUAL INVERSION)

可以理解为提示词的集合,可以省略大量的提示词。主要是负向提示词,后缀safetensors,大小几十kb

链接入口:stable diffusion实践操作-embedding(TEXTUAL INVERSION)

下载后存放地址:sd-webui-aki-v4.2\embeddings

2.7 ControlNet

正常来说,秋叶安装包就有一些模型的,其余后期补充。
介绍链接:https://zhuanlan.zhihu.com/p/619721909

链接入口:stable diffusion实践操作-Controlnet

下载后存放地址:sd-webui-aki-v4.2\models\ControlNet

三、生图操作

4.1 基础- 提示词文生图

链接入口:stable diffusion实践操作-文生图

4.2 基础-png图片成文生图

链接入口:stable diffusion实践操作-图片生文字到图片

4.3 基础-图生图

链接入口:stable diffusion实践操作-图生图

4.4 基础-黑白稿线稿上色

链接入口:stable diffusion实践操作-黑白稿线稿上色

4.4 基础-局部重绘

链接入口:stable diffusion实践操作-局部重绘

4.x 进阶-文生图-组合

将需求进行拆分,熟练运用组合,比如:

  1. KoreranDollLikeness + Beautiful_dress + Chilloutmix
  2. MIX4 + 20D 黑丝 + Chilloutmix

链接入口: 进阶-文生图-组合(KoreranDollLikeness + Beautiful_dress + CHilloutmix)

四、参数介绍

4.1 提示词

提示词是SD中非常重要,你生成的图片质量,基本就取决于提示词的好坏,提示词分为正向提示词和反向提示词

模板如下:画质 + 主体 + 主体细节 + 人物服装 + 其他(背景、天气、构图等)

Best quality,masterpiece,ultra high res,nu no humans,
 (long:1.2),<lora:long-000020:0.8>, no humans, cloud, 
 architecture, east asian architecture, red eyes, horns, 
 open mouth, sky, fangs, eastern dragon, cloudy sky, 
 teeth, flying, fire, bird, wings.

链接入口:stable diffusion实践操作-提示词

4.2 CLIP 终止层数

链接入口:CLIP

4.3 采样方法和迭代步数

链接入口:采样方法

4.4 宽高设置以及高清修复

链接入口:stable diffusion实践操作-宽高设置以及高清修复

4.5 随机数种子(seed)

当使用相同的大模型、关键词、Lora模型和其他参数时,生成的图像可能与他人不同,其中一个影响因素是随机数种子(Seed)。
随机数种子控制了图像生成的底层形状,类似于画画时最开始的线稿。它决定了图像的基础轮廓,包括人物的外形轮廓、姿势和站位等。
当随机数为“-1”的时候,SD就会随机给你的照片生成一个种子,这个种子就理解成不一样的线稿就可以,你可以在生成的图像下方查看英文字符串中的seed值,以了解当前生成图像所使用的随机数种子。

链接入口:stable diffusion实践操作-随机种子seed

4.6 面部修复

这两个功能没有太多讲解,直接使用即可。
注意点如下:

  • 面部修复适用于生成真人照片。
  • 高分辨率修复需要较好的电脑配置,配置较低的电脑不建议使用,否则可能无法生成照片

五.AI绘制内容

1.动画

如何使用AI绘制动画文章来源地址https://www.toymoban.com/news/detail-701042.html

到了这里,关于stable diffusion实践操作-writing的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • stable diffusion实践操作-批次出图

    stable diffusion实践操作 本章主要介绍SD批次出图。 想要一次产生多张图片的时候使用。 生成批次和每批数量至少一个为1, 产生了一张合图和4张单独图片。 例如:以上就是今天要讲的内容。

    2024年02月09日
    浏览(40)
  • stable diffusion实践操作-hypernetworks

    本文专门开一节写hypernetworks的内容,在看之前,可以同步关注: stable diffusion实践操作 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 `本章注意要介绍Hypernetwork,也叫做超网络,下面是一个原理概述。 中文名字叫超网络,功能和embedding,lora类似,

    2024年02月10日
    浏览(38)
  • stable diffusion实践操作-大模型介绍

    本文专门开一节写大模型相关的内容,在看之前,可以同步关注: stable diffusion实践操作 模型下载网站 国内的是:https://www.liblibai.com 国外的是:https://civitai.com(科学上网) 大模型从无到有训练大模型花费时间非常久,花费非常高,上百万美元: 在官方大模型的基础上再次

    2024年02月09日
    浏览(42)
  • stable diffusion实践操作-SD原理

    本文专门开一节写SD原理相关的内容,在看之前,可以同步关注: stable diffusion实践操作 (后期补充) img src+“” width=600 1.1.1 AI画画不是和人一样,从0开始,而是一个去噪点的过程: img src+“” width=600 1.1.2 逆向去噪 所有的人图片都是从一张噪点图开始的。根据目标生成一张猫

    2024年02月10日
    浏览(55)
  • stable diffusion实践操作-随机种子seed

    stable diffusion实践操作 当使用相同的大模型、、Lora模型和其他参数时,生成的图像可能与他人不同,其中一个影响因素是随机数种子(Seed)。 随机数种子控制了图像生成的底层形状,类似于画画时最开始的线稿。它决定了图像的基础轮廓,包括人物的外形轮廓、姿势

    2024年02月10日
    浏览(40)
  • stable diffusion实践操作-提示词-图片结构

    stable diffusion实践操作-提示词 本文主要收纳总结了提示词-图片结构。 Styles Artists hudson river school 哈得逊河学派 alphonse mucha 阿尔方斯很多 surrealism 超现实主义 pablo picasso 巴勃罗·毕加索 dadaism 达达主义 piet mondrian 皮埃特·蒙德里安 cubism 立体主义 jackson pollock 杰克逊·波洛克 fa

    2024年02月10日
    浏览(49)
  • stable diffusion实践操作-提示词-整体环境

    stable diffusion实践操作-提示词 本文主要收纳总结了提示词-整体环境。 画质 背景 场景 画风 镜头 [最高质量] [透明背景] [山] [轮廓加深] [正面视角] 英文=best quality 英文=transparent background 英文=mountain 英文=contour deepening 英文=pov [原创] [渐变的背景] [山上] [纯色块] [正面视角全身

    2024年02月10日
    浏览(43)
  • stable diffusion实践操作-提示词-人物属性

    stable diffusion实践操作-提示词 本文主要收纳总结了提示词-人物属性。 角色类型 人物 身材 胸部 头发-发型 头发-发色 [女仆] [霊烏路空] [大腿] [乳房] [呆毛] [紫发] 英文=maid 英文=reiuji utsuho 英文=thighs 英文=breasts 英文=ahoge 英文=purple hair [女巫] [琪露诺] [粗腿] [小乳房] [刘海] [银

    2024年02月10日
    浏览(42)
  • stable diffusion实践操作-提示词-人物服饰

    stable diffusion实践操作-提示词 本文主要收纳总结了提示词-人物服饰。 耳饰 帽子 内裤 内衣 上身 饰品 手部 [月牙耳环] [头顶光环] [丁字裤] [胸罩] [披风] [太阳镜] [珠子手链] 英文=crescent earrings 英文=halo 英文=thong 英文=bra 英文=capelet 英文=sunglasses 英文=bead bracelet [心形耳环] [迷

    2024年02月10日
    浏览(42)
  • stable diffusion实践操作-常见lora模型介绍

    本文专门开一节写Lora相关的内容,在看之前,可以同步关注: stable diffusion实践操作 Lora是微调模型,某品牌汽车(特斯拉),人物姿势(剪刀手),可以固定我们照片的特征:人物特征、动作特征、还有照片风格。 如果把基础模型比喻作一座房子的地基,那么Lora模型就好比

    2024年02月10日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包