影响stable diffusion的embedding训练效率的部分问题和拟解决办法-Toy模板网

这篇具有很好参考价值的文章主要介绍了影响stable diffusion的embedding训练效率的部分问题和拟解决办法。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

首先是大模型（.ckpt）

这个模型训练给我的感觉就是出图即训练，使用即训练，你可以通过打开图片文件夹，删除不需要的，调整生成关键字之后的批量生成来训练这个模型，他成长的很慢，但是会慢慢趋向你期待的画风。（小细节）关于图片大小影响未知，电脑配置不够，试过云环境：配置是13RAM，15GPU，78G磁盘
以微量关键词，使用一个训练的model做正向，没有反向关键词，面部以及高清修复，39采样，8.5相关，1920*1080，超时了。。pc端壁纸图除非电脑配置过硬。否则不建议高清修复。(或者可以试试魔法书优化算法)

然后简单补充一下上一档的笔记

上一篇文章说的embedding训练，但是实际上是严格来说是风格训练，我们在训练页面可以看出来。
影响stable diffusion的embedding训练效率的部分问题和拟解决办法
下面的subject.txt是趋向于人物模型训练，不过在过度训练下，两者差异不大。
再此提醒，训练的前几张图建议守在电脑桌前，看看自己生成的训练图片是否和自己素材相关，如果不对劲，尽快暂停。

为什么你炼丹效率不高呢？

首先，说一下现象以及原因

现象：最明显的现象就是你每跑500步就会默认出的那一张图和你投入进去的图片毫无关系。
原因：你的练习图库画风差距过大，大模型环境与图片并不对等，自然语言描述生成的并不好。我们主要来说一个最后一个，以解决为目的看一下这个的原因。

尝试的解决办法和纠正原因

首先，你可以通过修改大模型或者提高图库纯粹程度来缓解这个状况。如果要提高训练的精度，可以自己看一下预处理的自然语言描述，自动生成的简述和图片在卡通或者偏奇幻方面基本是各说各的。ai并不理解小众类卡通或者奇幻文化本身，于是会以模型相对应的图片来识别你的图片到底是什么，你可以理解为谷歌翻译10次的水平，这里可以举个例子。

正面例子

影响stable diffusion的embedding训练效率的部分问题和拟解决办法
可以看到，这是一张半成品的图片，加了混合现实的正向关键词，夜晚，面向观众，喝茶(虽然变成可乐了)。
我们可以看出来的：
一只狼人，面向观众，背后是夜晚的城市，天上是一轮红月。
ai给我们的自然语言描述：
a man in a red and black outfit standing in front of a city at night with a red sun.
百度翻译：
一个穿着红黑相间衣服的男人在夜晚站在一座城市前，阳光明媚。
我们可以看出来前文形容的其实差不多，这张图产自很久以前，那时模型没有过多训练，细节比如手部还有些许问题，不过ai在预处理并不会写到这些罢了，那么有问题的就只有sun了。
因为加入了夜晚的关键词，但是在最初图像生成的时候并没有加属于月亮的细节，比如环形山，那么对于我们来看，其实确实也很像落日下的场景，这个描述对当时想练这种风格的我来说，影响不大，所以采用了。

反例

影响stable diffusion的embedding训练效率的部分问题和拟解决办法
这张可以看出来主题变化没有太大，混合现实的比重没有那么高，背景模糊处理导致有些许动漫化，
我们这里用动漫角色来代替主角进行描述：
一个动漫角色，穿着红色的棉服，上面有黑色的绒毛，背对着夜晚的城市。
ai给出的预处理：
a anime character with a cat’s head and a red cape on, standing in front of a cityscape
百度翻译：
一个戴着猫头和红色斗篷的动漫角色，站在城市景观前
红色斗篷与棉服相差甚远，不过考虑到我这个模型并没有投喂服装图片，可以暂且忽略，带着猫头这个描述可以说是完全不搭边了，我当时这个训练集并不需要cos倾向，那么显然这个描述会带偏我的练习，那么有两种选择，如果数据集够大，你可以直接删掉这张图和文字描述，不过要注意，删除记得看一下下一张是否是该图片的对照组，如果是，你需要看一下描述是否复合要求。
嘛，训练集不够多的话就是需要更改了，你可以把文字描述的前段改成：
a anime character with red and black clothes
这样可以稍微挽回一下。

最后聊一下，为什么你可能没有这些操作，但是画风或者模型训练的依旧可以达到需要

首先。这是可能步数训练过多，虽然每一步学习程度很低，但是过多训练会导致画风训练成模型，可能纵使其超过0.35相关，就会画出这类图片，会干扰你其他描述的相关性，不过如果你是主攻该模型的训练，那影响可能会小很多，不稳定的描述会导致你下一次输入这一类相似描述的时候自动偏向这种类型，也就是前面举例的夜晚里有太阳，但是减低相关度是个好选择，在下一次出图，如果只是想用一些这个风格，你可以部分采用即: