影响stable diffusion的embedding训练效率的部分问题和拟解决办法

这篇具有很好参考价值的文章主要介绍了影响stable diffusion的embedding训练效率的部分问题和拟解决办法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

首先是大模型(.ckpt)

这个模型训练给我的感觉就是出图即训练,使用即训练,你可以通过打开图片文件夹,删除不需要的,调整生成关键字之后的批量生成来训练这个模型,他成长的很慢,但是会慢慢趋向你期待的画风。(小细节)关于图片大小影响未知,电脑配置不够,试过云环境:配置是13RAM,15GPU,78G磁盘
以微量关键词,使用一个训练的model做正向,没有反向关键词,面部以及高清修复,39采样,8.5相关,1920*1080,超时了。。pc端壁纸图除非电脑配置过硬。否则不建议高清修复。(或者可以试试魔法书优化算法)

然后简单补充一下上一档的笔记

上一篇文章说的embedding训练,但是实际上是严格来说是风格训练,我们在训练页面可以看出来。
影响stable diffusion的embedding训练效率的部分问题和拟解决办法
下面的subject.txt是趋向于人物模型训练,不过在过度训练下,两者差异不大。
再此提醒,训练的前几张图建议守在电脑桌前,看看自己生成的训练图片是否和自己素材相关,如果不对劲,尽快暂停。

为什么你炼丹效率不高呢?

首先,说一下现象以及原因

现象:最明显的现象就是你每跑500步就会默认出的那一张图和你投入进去的图片毫无关系。
原因:你的练习图库画风差距过大,大模型环境与图片并不对等,自然语言描述生成的并不好。我们主要来说一个最后一个,以解决为目的看一下这个的原因。

尝试的解决办法和纠正原因

首先,你可以通过修改大模型或者提高图库纯粹程度来缓解这个状况。如果要提高训练的精度,可以自己看一下预处理的自然语言描述,自动生成的简述和图片在卡通或者偏奇幻方面基本是各说各的。ai并不理解小众类卡通或者奇幻文化本身,于是会以模型相对应的图片来识别你的图片到底是什么,你可以理解为谷歌翻译10次的水平,这里可以举个例子。

正面例子

影响stable diffusion的embedding训练效率的部分问题和拟解决办法
可以看到,这是一张半成品的图片,加了混合现实的正向关键词,夜晚,面向观众,喝茶(虽然变成可乐了)。
我们可以看出来的:
一只狼人,面向观众,背后是夜晚的城市,天上是一轮红月。
ai给我们的自然语言描述:
a man in a red and black outfit standing in front of a city at night with a red sun.
百度翻译:
一个穿着红黑相间衣服的男人在夜晚站在一座城市前,阳光明媚。
我们可以看出来前文形容的其实差不多,这张图产自很久以前,那时模型没有过多训练,细节比如手部还有些许问题,不过ai在预处理并不会写到这些罢了,那么有问题的就只有sun了。
因为加入了夜晚的关键词,但是在最初图像生成的时候并没有加属于月亮的细节,比如环形山,那么对于我们来看,其实确实也很像落日下的场景,这个描述对当时想练这种风格的我来说,影响不大,所以采用了。

反例

影响stable diffusion的embedding训练效率的部分问题和拟解决办法
这张可以看出来主题变化没有太大,混合现实的比重没有那么高,背景模糊处理导致有些许动漫化,
我们这里用动漫角色来代替主角进行描述:
一个动漫角色,穿着红色的棉服,上面有黑色的绒毛,背对着夜晚的城市。
ai给出的预处理:
a anime character with a cat’s head and a red cape on, standing in front of a cityscape
百度翻译:
一个戴着猫头和红色斗篷的动漫角色,站在城市景观前
红色斗篷与棉服相差甚远,不过考虑到我这个模型并没有投喂服装图片,可以暂且忽略,带着猫头这个描述可以说是完全不搭边了,我当时这个训练集并不需要cos倾向,那么显然这个描述会带偏我的练习,那么有两种选择,如果数据集够大,你可以直接删掉这张图和文字描述,不过要注意,删除记得看一下下一张是否是该图片的对照组,如果是,你需要看一下描述是否复合要求。
嘛,训练集不够多的话就是需要更改了,你可以把文字描述的前段改成:
a anime character with red and black clothes
这样可以稍微挽回一下。

最后聊一下,为什么你可能没有这些操作,但是画风或者模型训练的依旧可以达到需要

首先。这是可能步数训练过多,虽然每一步学习程度很低,但是过多训练会导致画风训练成模型,可能纵使其超过0.35相关,就会画出这类图片,会干扰你其他描述的相关性,不过如果你是主攻该模型的训练,那影响可能会小很多,不稳定的描述会导致你下一次输入这一类相似描述的时候自动偏向这种类型,也就是前面举例的夜晚里有太阳,但是减低相关度是个好选择,在下一次出图,如果只是想用一些这个风格,你可以部分采用即:

modelTest(×0.25)

也有其他调整权重的方法,不过我最早听说是这种啦。
那么,感谢你看到这里,结束啦!文章来源地址https://www.toymoban.com/news/detail-493763.html

到了这里,关于影响stable diffusion的embedding训练效率的部分问题和拟解决办法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • stable diffusion model训练遇到的问题【No module named ‘triton‘】

    一天早晨过来,发现昨天还能跑的diffusion代码,突然出现了【No module named ‘triton’】的问题,导致本就不富裕的显存和优化速度雪上加霜,因此好好探究了解决方案。 首先是原因,由于早晨过来发现【电脑重启】导致了【训练终止】(美好的心情从看到windows更新结束),基

    2024年02月06日
    浏览(36)
  • AI 绘画Stable Diffusion 研究(十五)SD Embedding详解

    大家好,我是风雨无阻。 本期内容: Embedding是什么? Embedding有什么作用? Embedding如何下载安装? 如何使用Embedding? 大家还记得 AI 绘画Stable Diffusion 研究(七) 一文读懂 Stable Diffusion 工作原理 这篇文章中,曾提到过词嵌入(Embedding)吗? 我们来简单回顾一下:Embedding 将输

    2024年02月11日
    浏览(34)
  • 如何让Stable Diffusion正确画手(1)-通过embedding模型优化图片质量

    都说AI画手画不好手, 看这些是我用stable diffusion生成的图片,小姐姐都很漂亮,但手都千奇百怪,破坏了图片的美感。 其实只需要一个提示词,就能生成正确的手部,看这是我重新生成的效果,每一个小姐姐都有了正确的手部。 首先我们打开LibLibAI模型站或者Civitai模型站,

    2024年02月16日
    浏览(28)
  • 〔006〕Stable Diffusion 之 文本转换(Embedding)和脚本(Script)高级使用 篇

    这个功能其实就是将你常用的提示词打包成一个,你在写 prompt 的时候,只要输入这个,就可以实现特定的各种预设好的画风、画质或者其他相关的特征。 在之前的版本中,这个功能也被叫做文本嵌入 (Embedding) 我们可以在模型网站上找到很多别人已经打包好的

    2024年02月12日
    浏览(37)
  • Stable Diffusion - 常用的负向提示 Embeddings 解析与 坐姿 (Sitting) 提示词

    欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/132145248 负向 Embeddings 是用于提高 StableDiffusion 生成图像质量的技术,可以避免生成一些不符合预期的图像特征,比如画崩、变形、多余的部位等。原理是将一些不希望出现的图像特征转换为

    2024年02月13日
    浏览(34)
  • Stable Diffusion - 人物坐姿 (Sitting) 的提示词组合 与 LoRA 和 Embeddings 配置

    欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/132201960 拍摄人物坐姿时,需要注意: 选择一个舒适和自然的坐姿,符合个性和心情。可以坐在椅子、沙发、长凳、凳子或者地上。避免坐得太僵硬或者太懒散。放松肩膀和颈部,保持背部直

    2024年02月13日
    浏览(30)
  • 〔AI 绘画〕Stable Diffusion 之 文本转换(Embedding)和脚本(Script)高级使用 篇

    这个功能其实就是将你常用的提示词打包成一个,你在写 prompt 的时候,只要输入这个,就可以实现特定的各种预设好的画风、画质或者其他相关的特征。 在之前的版本中,这个功能也被叫做文本嵌入 (Embedding) 我们可以在模型网站上找到很多别人已经打包好的

    2024年02月13日
    浏览(33)
  • Stable Diffusion不同咒语对图片的影响

    牙叔教程 简单易懂 这里展示的是, 其他条件都相同, 只有prompt中的一个单词不同, 看看生成的图片有什么不一样 正向提示词 反向提示词 生成的图片 接下来我们开始查看不同提示词对图片的影响, 其他参数全部一样, 只有提示词不一样, 且只有一个单词不一样 Angelic, Virtuous, S

    2024年02月14日
    浏览(32)
  • Stable Diffusion——基础模型、VAE、LORA、Embedding各个模型的介绍与使用方法

    Stable Diffusion(稳定扩散)是一种生成模型,基于扩散过程来生成高质量的图像。它通过一个渐进过程,从一个简单的噪声开始,逐步转变成目标图像,生成高保真度的图像。这个模型的基础版本是基于扩散过程的,但也有一些改进版本,包括基于变分自动编码器(VAE)、局部

    2024年02月22日
    浏览(38)
  • [Stable Diffusion]:WEBUI(SD)安装、常用模型(checkpoint、embedding、LORA)、提示词具、常用插件

    1. 安装Stable Diffusion Stable Diffusion的安装可能是第一步,但它绝对是重要的一步。以下是一些安装方式: ● AutoDL: AutoD镜像版本,现在维护到V16。镜像地址:AUTOMATIC1111/stable-diffusion-webui/tzwm_sd_webui_A1111。webui 1.6.0 整合版,支持 SDXL,一键启动,带视频教程。预置 ControlNet v1

    2024年02月04日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包