Stable Diffusion的使用以及各种资源

这篇具有很好参考价值的文章主要介绍了Stable Diffusion的使用以及各种资源。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

SD简述

Stable Diffusion是2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像,尽管它也可以应用于其他任务,如内补绘制、外补绘制,以及在提示词指导下产生图生图的翻译。

Stable Diffusion的使用以及各种资源,stable diffusion
s用到的技术原理叫做扩散算法,具体的算法设计是很复杂的一门学科。大概的原理就是把一张图模糊化处理,然后再根据关键词一点一点儿的把内容给具体化。最后就得到了我们描述的内容。

从去年也就是2022年9月份开始,我就知道了这个技术。但是没有详细的了解过这个技术的实操方案。
今年断断续续的也看了看这个技术的阿里云操作和一些公众号的内容。还有比较火的隐藏式二维码,隐藏文字的光影街道图,也在关注。但是并没有实际操练起来。
这个周末我把我之前看到过的材料又重新找到重新看了一下,实操了一下。下面是我对这个技术的总结。

sd安装

sd 在本地操作的话,需要不错的独立显卡支持。如果达不到这个显卡要求的化可以选择阿里云服务器或者一些云桌面上进行操作。

  • 本地安装环境分成三个步骤,先安装python环境,要配置到环境变量中。其次要安装先去支持的cuda支持,通过nvidia-smi可以查看自己设备所支持的CUDA version版本。
  • 可以通过cuda下载地址这个连接下载对应版本的cuda
  • 然后还需要安装git,因为需要从github上克隆webui的项目,还有一些插件也可以通过git的方式clone,github上的webui项目地址

  • 除了这种全手动的方式,还可以从B站上找一些大神的启动器安装包。安装包都都是把运行环境打包好的,用起来很省心。

模型下载

项目启动后,就需要下载一些所必须的大模型了,sd需要的模型有很多中。

  • checkpoint 这个是sd运行所需要的数据来源。大模型的文件大小都很大。一般都会在2个G以上。相当于sd作画是所需要的一个大字典。
  • VAE这个是给画面上色的,可以理解成滤镜。让画面更加鲜艳动人,吸引眼球。
  • Embeddingsd创作画面都是需要由文本描述也就是关键词的,这个模型就相当于把一部分关键词直接打包了。在描述的时候不需要描述很多内容,直接把模型引入到对应的文件夹。然后在关键词那里填写对应的Embedding即可。
  • Hypernetwork这个相当于是书签,因为字典很大,有这个可以让sd做出来的画更加符合我们的要求。
  • LoraLora相当于是Hypernetwork的升级版本。都是相当于在大模型的基础上进行更加详尽的描述,把需求描述的更加详细。对大模型的结果进行微调。
  • LyCORISLyCORIS是对Lora的升级,在算法生更加精进,调整力度更大。

所有的模型都是为了让我们的描述内容有一个依托,让sd作画有一个范围,因为训练大模型的时候数据集很大,在实际运行的时候又需要通过其他的小一些的模型来进行精确的控制。所以就有了这些模型。
下面是一些常用的模型下载地址:

  1. civitai
  2. huggingface
  3. esheep(连接先对前面两个更稳定)
  4. liblibai(连接先对前面两个更稳定)
  5. openart

关键词,描述语句

提示词:正向文提示词,反向文提示词
最主要的还是要确认自己想要表现的内容是什么,即主题,因为内容都是为主题服务的

  1. 人物及主体特征
  2. 场景特征
  3. 环境光照
  4. 补充,画幅视角

除了对内容的描述,还需要一些对画质的描述关键词

  1. 高画质
  2. 特定的高分辨率
  3. 画风提示词(插画、二次元、写实)

提示词权重:可以通过加小括号的方式提高权重,也可以通过关键词后面添加具体倍数的方式控制
提示词网站:

  1. dawnmark
  2. atoolbox

插件管理

从github上安装sd后,即可进行出图操作了。但是为了让软件更好用,我们可以安装一些插件让sd更好用

  1. 中文汉化语言插件
  2. 图库浏览器插件(image broswer)
  3. 提示词插件
  4. Ultimate Upscale(图片放大,在文生图里以脚本的方式出现)
  5. Local Latent Couple(LLUl)(局部细节优化插件)
  6. after-detailer(帮助美化脸部或手的细节)
  7. controlNet
    插件基本都是在github上管理的,也可以通过gitee等其他的代码平台下载安装。
  • gitcode
  • 码云

controlNet

controlNet是对画面进行精细化控制的插件。需要借助画面的一些元数据,例如通道信息,通过ps可以获得这些信息。

  1. 对姿势进行控制
  2. 对画面深度进行控制
  3. 对画面边缘进行控制
  4. 对光影进行控制
  5. 生成艺术二维码

自己训练模型

如果以上内容还不够满足自己的要求,那我们可以自己进行模型训练文章来源地址https://www.toymoban.com/news/detail-664236.html

  1. 找到数据源,对某个对象的一些照片
  2. 通过sd对如片进行打标签,即标识画面上的内容。作为学习的依据
  3. 交给sd来学习
  • 数据源最好是统一大小的
  • 如果本地显卡不够可以通过aliyun来获得三个月的免费PAI的云服务
  • 借助github上的项目,colab上的Lora_Trainer来进行数据训练
  • 训练完成后需要通过sd的xyz脚本来选择效果最好的那个模型

到了这里,关于Stable Diffusion的使用以及各种资源的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用Kaggle GPU资源免费体验Stable Diffusion开源项目

    由于本人水平有限,难免出现错漏,敬请批评改正。 更多精彩内容,可点击进入YOLO系列专栏或我的个人主页查看 YOLOv5:添加SE、CBAM、CoordAtt、ECA注意力机制 YOLOv5:yolov5s.yaml配置文件解读、增加小目标检测层 YOLOv5:IoU、GIoU、DIoU、CIoU、EIoU YOLOv7训练自己的数据集(口罩检测)

    2024年02月07日
    浏览(56)
  • 使用阿里云免费Serverless函数计算产品资源安装 Stable Diffusion

    喜欢用 Stable Diffusion 的小伙伴注意了!上一篇介绍了使用谷歌的 Colab 免费资源来安装这个画图神器。 但因为资源是免费的,高峰时期有可能会被谷歌断掉服务的连接,像周末这种使用高峰,GPU 的资源得不到保证。 没关系,今天我们来介绍一个更靠谱的安装方法,让你随时随

    2024年02月09日
    浏览(53)
  • stable diffusion(安装以及模型的初步使用)

     能跑模型,本地也跑过一点Lora训练的脚本,看看几个效果: 以上的都是配合huggingface有的模型结合civitai上的Lora模型在本地跑出来的图片,自己本地训练的Lora太拉闸了,就不放上来了…… git直接安装最新版本的,python3.10可以下载miniconda,默认会帮忙安装python3.10;记得git和

    2024年02月01日
    浏览(41)
  • stable diffusion教程,详细版,包括解决各种问题

    需要环境 git git下载地址Git - Downloading Package  直接装即可 python3.10.6 下载地址 Python Release Python 3.10.6 | Python.org 记得python环境一定要3.10.6!!! 第一个版本 项目地址https://github.com/AUTOMATIC1111/stable-diffusion-webui 或者使用git来拉取(如果没有git,git也要去下载) 第二个版本,是一

    2024年02月10日
    浏览(38)
  • 常用的ControlNet以及如何在Stable Diffusion WebUI中使用

    上一次我们已经介绍了如何通过代码的方式使用ControlNet,Stable Diffusion WebUI里面包含了很详细的使用设置,我们可以直接在上面进行操作,所以本文将介绍如何以傻瓜的方式直接使用ControlNet。 如果你用过Stable Diffusion,可能已经注意到图像的输出有无限的结果可能性,就像在

    2024年02月04日
    浏览(45)
  • Stable Diffusion WebUI插件posex安装以及无法使用完美解决办法汇总

    posex是一个很好用的3Dopenpose编辑器。 我们只需要去官网找到源码就可以查看其用法。 对于安装大家应该都知道怎么去安装。 (1)一体包安装方式 类似于秋叶一体包直接在webui界面搜索posex就可以直接install。 最新版本好像已经取消了。 (2)手动安装方式 直接进入extensions目

    2024年02月04日
    浏览(40)
  • Stable Diffusion学习线路,提示词及资源分享

    1. 提示词的基础概念 提示词分为正面提示词(Prompts)和反面提示词(Negative Prompts)。正面提示词代表你希望画面中出现的内容,而反面提示词代表你不希望画面中出现的内容。提示词通常是以英文书写,最小单位是单词。例如,如果你想生成一个穿着黄色衬衣的女孩的图像

    2024年04月27日
    浏览(36)
  • AI 绘画基础 - 细数 Stable Diffusion 中的各种常用模型 【? 魔导士装备图鉴】

    AI 绘画新手魔导士在刚开始玩 Stable Diffusion 时总会遇到各种新的概念,让人困惑,其中就包括各种模型和他们之间的关系。 魔法师入门得先认识各种法师装备(各种模型),让我们遇到问题知道使用何种装备来协助自己发挥更大的效果。 在了解各种模型之前,有必须先了解

    2024年02月03日
    浏览(45)
  • AI 绘画基础 - 细数 Stable Diffusion 中的各种常用模型 【 魔导士装备图鉴】

    AI 绘画新手魔导士在刚开始玩 Stable Diffusion 时总会遇到各种新的概念,让人困惑,其中就包括各种模型和他们之间的关系。 魔法师入门得先认识各种法师装备(各种模型),让我们遇到问题知道使用何种装备来协助自己发挥更大的效果。 在了解各种模型之前,有必须先了解

    2024年02月10日
    浏览(74)
  • 【资源分享】stable-diffusion-v1-5完整资源分享,官网下载慢啊

    【资源分享】stable-diffusion-v1-5完整资源分享,官网下载慢啊 链接: https://pan.baidu.com/s/1WjUA0xJc8gWWUxwTLvJyRg?pwd=ah9y 提取码: ah9y --来自百度网盘超级会员v6的分享

    2024年02月06日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包