关于stable diffusion的embedding训练的一篇随笔

这篇具有很好参考价值的文章主要介绍了关于stable diffusion的embedding训练的一篇随笔。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

嗯,因为最近ai绘画很火啊,而且可以本地部署,很多人开始投喂ai然后画一些喜欢的东西,这是刚接触4天的笔记,那么我整理下目录,来展示一下这篇笔记都有什么吧。

1,绘画的关键词和反向关键词

2,调参,高清与面部修复

3,embedding模型的训练素材准备与原理建议

4,炼丹注意事项

那么首先来聊第一条

关键字:这个运行原理是根据一个大模型(下载之后的model),也就是你安装之后的大致这个路径下的文件,以.ckpt结尾

models\Stable-diffusion

你是可以通过C站来下载这些(需要魔法),C站本身并不是特别稳定,而且还有一些小bug,这边推荐小猫,不过你既然已经看到训练的篇幅了,那么说明你已经有些了解了,并且一般安装之后是会自带一个model的,所以不用担心。因为除非自带的有特别说明,否则不会对某类图片绘画有特殊偏向。比如我下了一个cat宠物猫模型,那么即使我输入的和猫无关词汇,仍会有关于猫的图片生成。
好了,现在我们聊一下关键词。字面意思,这个就是你希望ai画些什么,又不希望画什么,在没有一个很好地模型的初期,当然是越详细越好,你可以通过百度翻译或者CHATGPT的对话,来把你需要的关键字转换为英文,可以用","或者空格隔开。当然,你也可以用一些已经训练好的模型,从点击这里,我们可以在主页面上选取需要的下载好的模型。
关于stable diffusion的embedding训练的一篇随笔
再特别聊一下反向关键字,这个选词的时候一般很抽象,比如我想画一张景色图,那么正向关键词我可能会填:杰作,春天,湖畔,山边,蓝天(以上都需要英文)这一类的词。那么反向关键词我会填:低质量,模糊不清,这一类的词汇,因为在没有练出具体风格的时候,我们完全不了解会出现什么问题,把问题写在这一栏,就可以减少出现概率。
(不过这还是无法完全避免,比如初期我尝试画furry风格的图片,总是会出现3条以上的尾巴,即使我规定正向:一条尾巴;反向:尾巴超过一条,仍然可能会让ai理解错误,这类东西需要我们慢慢来。

第二条调参,面部与高清修复

关于stable diffusion的embedding训练的一篇随笔
可以看到东西很多,不过初期我们可以调动的参数一般是:
采样方法,采用迭代步数,面部修复,高清修复,高度宽度,提示词相关性,生成批次和数量。
采样方法可以凭自己喜欢来挑,采用迭代会增加你显卡的转速(不是),让你的出图质量提高,面部修复指的是,有时候你的绘画可能出现各种掉san的问题,比如没有鼻子,嘴歪眼斜,甚至有两张嘴,两个鼻子这一类问题,这个重绘幅度默认是0.7,我们一般不需要去调整这个属性,有条件的可以开启,会大幅缩短你炼丹准备时间。
高清修复顾名思义,就是更清晰,你可以选择不同的放大算法来让图片质量更高,不过过于手绘的个人建议不开,这个默认开启是两倍放大,并不会对画内容本身重绘。
批次和数量就是你希望画多少次,每次多少张,比如出去散步可以挂80-100张,回来之后就可以查看抽卡绘画的结果啦。相关性并不是越高越好,很多时候你并不知道自己想要什么,ai的一个错误理解有时会把你希望的画面提升不止一个层次,这有点像写了一个bug,但是这个bug没有显著危害,甚至有收益,那我们就用就好啦,需要自行斟酌,调高一点点或者保持现状。

素材准备与训练事项

首先,你已经准备要训练一个画风,那么你需要有至少50张图,这里要求画风相同,严禁混合,清晰度尽量一样,你可以用自己ai画的图来炼丹,这样可以很大程度减轻这个问题,我们可以在这个页面来做最开始的准备。
关于stable diffusion的embedding训练的一篇随笔
创建一个名称,初始化文字可以不填写,词元向量看自己需求,一般从7-16,大概是从ai画风练习到ai画师练习,画师练习指的是更加专一的一类,比如动物。画风没有这么苛刻,比如中世纪风,赛博风,这一类的。

图像预处理

关于stable diffusion的embedding训练的一篇随笔
一般来说按照这个页面填写就可以,原目录即是你自己打算训练的图库,目标目录需要你自己在桌面上或者某个位置新建一个空白文件夹,并把文件位置填写上,然后我们点预处理就好了。

炼丹事项:

1,炼丹对电脑配置要求很高,一般来说,不建议a卡,显存8g以下是练不了的,当然也有方法,不过麻烦就是了。
2,你并不需要一个100%训练的ai,反复跑画风并不一定会得到你满意的结果。

最后,炼丹开始

关于stable diffusion的embedding训练的一篇随笔
最大步数根据你自己需要。画风15000-18000差不多就行,画手3-4w差不多,数据集目录就是上文让你新建的文件夹目录,下面打钩按图走,其他所有参数都不需要改,然后点击左下角训练即可。然后你就可以挂机干别的去啦~比如补补番,玩玩手机,总之,训练会消耗非常大的资源和很长的时间,这个时间基本就告别电脑游戏了,消耗最高的一次是我跑的环境是15g显存,稳定占用14.7g。
最后,有刚研究的小白可以一起聊一聊,评论私信都可。文章来源地址https://www.toymoban.com/news/detail-440388.html

到了这里,关于关于stable diffusion的embedding训练的一篇随笔的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 关于stable diffusion的lora训练在linux远程工作站的部署

    在学校Arc中部署lora training,一大问题就是依赖缺失和冲突。可以利用miniconda或者anaconda建立虚拟环境来解决。 安装anaconda 或者 miniconda(官网上也有教程): 现在进入到虚拟环境中 首先解决cuda的配置,其中要配置合适的cuda版本以及对应版本的cuDNN conda官方库中的cuda包都不完

    2024年02月09日
    浏览(51)
  • Stable Diffusion中的Embeddings

            Embeddings是一种数学技术,它允许我们将复杂的数据(如文本或图像)转换为数值向量。这些向量是高维空间中的点,可以捕捉数据的关键特征和属性。在文本处理中,例如,embeddings可以捕捉单词或短语之间的语义关系,而在图像处理中,它们可以表示图像的视觉内

    2024年01月21日
    浏览(37)
  • 【Stable Diffusion】什么是Embedding

    1.基本概念 embedding,又名textual inversion,中文名“嵌入或文本反转” 在计算机科学中,embedding是将高维数据映射到低维空间的过程。在图像处理中,embedding通常用于将图像转换为向量表示,以便进行机器学习和深度学习任务。在使用stable diffusion进行绘画时,embedding可以用于将

    2024年02月06日
    浏览(34)
  • AI 绘画Stable Diffusion 研究(十五)SD Embedding详解

    大家好,我是风雨无阻。 本期内容: Embedding是什么? Embedding有什么作用? Embedding如何下载安装? 如何使用Embedding? 大家还记得 AI 绘画Stable Diffusion 研究(七) 一文读懂 Stable Diffusion 工作原理 这篇文章中,曾提到过词嵌入(Embedding)吗? 我们来简单回顾一下:Embedding 将输

    2024年02月11日
    浏览(38)
  • 如何让Stable Diffusion正确画手(1)-通过embedding模型优化图片质量

    都说AI画手画不好手, 看这些是我用stable diffusion生成的图片,小姐姐都很漂亮,但手都千奇百怪,破坏了图片的美感。 其实只需要一个提示词,就能生成正确的手部,看这是我重新生成的效果,每一个小姐姐都有了正确的手部。 首先我们打开LibLibAI模型站或者Civitai模型站,

    2024年02月16日
    浏览(35)
  • 〔006〕Stable Diffusion 之 文本转换(Embedding)和脚本(Script)高级使用 篇

    这个功能其实就是将你常用的提示词打包成一个,你在写 prompt 的时候,只要输入这个,就可以实现特定的各种预设好的画风、画质或者其他相关的特征。 在之前的版本中,这个功能也被叫做文本嵌入 (Embedding) 我们可以在模型网站上找到很多别人已经打包好的

    2024年02月12日
    浏览(41)
  • Stable Diffusion - 常用的负向提示 Embeddings 解析与 坐姿 (Sitting) 提示词

    欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/132145248 负向 Embeddings 是用于提高 StableDiffusion 生成图像质量的技术,可以避免生成一些不符合预期的图像特征,比如画崩、变形、多余的部位等。原理是将一些不希望出现的图像特征转换为

    2024年02月13日
    浏览(42)
  • Stable Diffusion - 人物坐姿 (Sitting) 的提示词组合 与 LoRA 和 Embeddings 配置

    欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/132201960 拍摄人物坐姿时,需要注意: 选择一个舒适和自然的坐姿,符合个性和心情。可以坐在椅子、沙发、长凳、凳子或者地上。避免坐得太僵硬或者太懒散。放松肩膀和颈部,保持背部直

    2024年02月13日
    浏览(34)
  • 〔AI 绘画〕Stable Diffusion 之 文本转换(Embedding)和脚本(Script)高级使用 篇

    这个功能其实就是将你常用的提示词打包成一个,你在写 prompt 的时候,只要输入这个,就可以实现特定的各种预设好的画风、画质或者其他相关的特征。 在之前的版本中,这个功能也被叫做文本嵌入 (Embedding) 我们可以在模型网站上找到很多别人已经打包好的

    2024年02月13日
    浏览(39)
  • Stable Diffusion——基础模型、VAE、LORA、Embedding各个模型的介绍与使用方法

    Stable Diffusion(稳定扩散)是一种生成模型,基于扩散过程来生成高质量的图像。它通过一个渐进过程,从一个简单的噪声开始,逐步转变成目标图像,生成高保真度的图像。这个模型的基础版本是基于扩散过程的,但也有一些改进版本,包括基于变分自动编码器(VAE)、局部

    2024年02月22日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包