写在前面的话
近期在小红书发现了许多极其可爱、美观的萌宠图片，对这些美妙的图像深深着迷
于是想着看看利用AI绘画StableDiffusion以下简称（SD）做出来。
以下是详细实操的全过程，包括所有用的资料已经打包到网盘。
最后尝试的最终效果如下：
更多图片请查看网盘：
「萌宠图片及关键词」
链接：https://pan.quark.cn/s/ba9c3e8ef92a
如果你想了解更多的StableDiffusion的知识，请参阅：
AI绘画：Stable Diffusion 终极炼丹宝典：从入门到精通
原文链接阅读更舒服：AI绘画：StableDiffusion炼丹Lora攻略-实战萌宠图片生成文章来源地址https://www.toymoban.com/news/detail-559317.html
一：准备
需要的资料都打包在网盘里面，需要的自行下载。
我用夸克网盘分享了「StableDiffusion炼丹资料」
网盘链接：https://pan.quark.cn/s/3c8cc96f3221
二、Lora作用
LORA可以让我们轻松画出特定的人物，物品，特殊的笔触和特殊的画风或风格，属于一种特殊训练的子集。
1.AI模特
炼出一个自己的模特，让这个模特穿上自己的商品
2.炼衣服Lora
添加一个衣服的Lora，就可以让人物穿上特定的衣服
3.改变画风/画面背景
通过添加Lora改变照片的画风，这个画风可以自己去训练
Lora模型究竟是什么？
专业的解释
LoRA的全称是LoRA: Low-Rank Adaptation of Large Language Models，可以理解为stable diffusion（SD)模型的一种插件，和hyper-network，controlNet一样，都是在不修改SD模型的前提下，利用少量数据训练出一种画风/IP/人物，实现定制化需求，所需的训练资源比训练SD模要小很多，非常适合社区使用者和个人开发者。LoRA最初应用于NLP领域，用于微调GPT-3等模型（也就是ChatGPT的前生）。由于GPT参数量超过千亿，训练成本太高，因此LoRA采用了一个办法，仅训练低秩矩阵（low rank matrics），使用时将LoRA模型的参数注入（inject）SD模型，从而改变SD模型的生成风格，或者为SD模型添加新的人物/IP。
通俗的解释
Lora可以复刻人物和物品的特征，固定人物动作，改变照片画风
而且Lora只需要少量的数据就可以训练出来，比训练大模型要简单很多
所以大家可以通过训练自己的Lora，做出定制的图片
但不得不说的是，目前的Lora还不能做到100%相同，尤其是细节方面
但是相信随着之后的技术发展，万物皆可Lora的时代是不远的
三、如何炼制自己的Lora模型？
炼制Lora的方式有很多种
有用脚本训练的，也有在网站界面上训练的，最近还有很多朋友做出来了训练Lora的整合包
创建Lora模型的方式有许多，包括通过脚本进行训练，通过网页界面操作，甚至有一些专业人士最近提供了Lora训练的一键式整合包。尽管这些方法在表面上看起来有所不同，但其训练逻辑其实都是相同的。
因此，我们可以选择使用整合包。整合包的优点在于，它将炼丹所需的所有工具和步骤集成在一款软件中，为我们提供了一种更为便捷且有效的训练方式。
整合包就是把炼丹所需要的所有工具都整合到一个软件里
炼丹分为以下几步：
1.下载整合包
2.准备工作
3.开始训练
4 .测试Lora
5.优化Lora
四、炼丹前的准备（下载整合包）
在炼Lora之前，需要大家先确认一下自己的电脑配置：
1.电脑配置需要N卡，并且6G显存以上
2.A卡和Mac系统，或者电脑配置不太行的小伙伴建议用云平台
我这里用的是B站up主朱尼酱的整合包：
我用夸克网盘分享了「StableDiffusion炼丹资料」
网盘链接：https://pan.quark.cn/s/3c8cc96f3221
下载好了之后把它解压到D盘或者E盘，不要放在C盘！！
秋叶的整合包我也试过炼Lora，两个对比下来，我觉得朱尼酱的整合包会更适合小白
打开解压之后的文件夹，在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序
可以创建一个桌面快捷方式，这样就不用每次都要打开文件
看到这个页面就安装好了，点击“开启炼丹炉”就可以开始炼Lora啦！
五、选择合适的大模型
跟画图一样，炼Lora之前也要先选一个大模型，确定Lora的画风
这里训练的萌宠，我选择的是“cheeseDaddys_35”大模型
真人模型=》选用“chilloutmix”的大模型
二次元=》选用“anything”的大模型
如果你的Stable Diffusion里面没有模型，那就要先去下载模型噢！
网盘里面已经给大家放了这两个大模型
我用夸克网盘分享了「2.大模型checkpoint」
链接：https://pan.quark.cn/s/9767ac274f83
再往下就可以选择一个我们要训练的Lora的类型
选择之后就会帮我们选择默认的参数
训练真人Lora就选“人物”
训练二次元就选“二次元”
如果想炼绘画的风格可以选画风
除此之外还可以自定义去炼平面设计图或者建筑之类的
我这里选择的是产品
六、高质量素材的制作
以上准备工作及参数设置好了后，就可以开始上传自己的素材开始训练了。
这些素材就是我们要喂给AI学习的素材
素材的质量非常重要！！会直接影响最后出来的Lora的质量
我们的素材需要满足几个点：
1.上传20~30张照片
2.素材要高清！！！
3.多角度照片
这里我就以炼萌宠Lora为例子，上传萌宠的照片
点击“删除全部”把默认的素材删掉
然后点击“上传素材”，上传自己的照片
一般情况下，下面的参数默认就可以了
需要调整参数的话，最好是需要了解参数的含义，如果乱调的话，可能会训练失败。
不要选择太高的分辨率，容易爆显存
另外，如果训练真人Lora，可以勾选最右边的“脸部加强训练”
勾选了之后就会再多裁剪出来一组只有脸的照片，这样AI能学到更多的脸部细节
七、耐心等待的训练过程
看到这个页面就是模型正在训练中
到这一步只要耐心等待就可以了，没什么需要操作的
我们可以看一下下面的参数是什么意思
“Steps”就是训练步数
每训练50步右下角就会出现一张图片
那样就可以实时看到Lora的样子
这个白头发和红裙子是后台加上去的关键词
可以测试Lora的泛化性
泛化性就是看这个Lora能不能自由的去更换照片里的东西，比如发型、发色、服装之类的
Loss可以用来参考模型的好坏
一个好的模型Loss值在0.07~0.09之间
注意：具体好不好还是要在Stable Diffusion实际测试才知道
等训练完了之后，点击“模型”
就可以看到生成出来模型
按照默认参数训练会出来20个模型，但不是说最后一个模型就是最好的
有可能炼到第十六第是十七个模型就已经够了，再往后的模型就已经训练过度了
所以这些模型还要实际在SD测试一下，才知道哪个是最好的
八、如何测试Lora的好坏
模型生成出来之后就可以到SD里面生成图片
在SD里面可以生成这么一张大图，可以直接看到所有模型在不同权重下出来的效果
比较一下哪个模型更好，就只保留那个模型就可以了
接下来我们就看看怎么生成这张大图
首先把新生成的10个模型复制到SD的models文件夹，放到Lora文件夹里面
注意：最好新建一个文件夹，比如cuteDog
然后把没有序号编码的那个Lora重命名
没有序号编码的Lora就是最后生成出来的一个模型，这里只是为了方便进行测试，统一一下所有模型的名称
保存好模型之后就可以打开SD进行测试了
首先先选一个大模型
你用哪一个大模型来训练lora就选哪个大模型
然后输入正面关键词和负面关键词
正面关键词可以输入一些质量词，比如最高质量、高清画质、大师杰作等等
负面关键词直接复制我们以前用过的就可以
接下来就是选用我们刚刚炼好的Lora
随便选一个都可以
重点来了：把000017换成NUM，1换成STRENGTH
<lora:cute dog_20230708214731-000017:1>
例如：
<lora:cute dog_20230708214731-NUM:STRENGTH>
迭代步数，采样方法这些参数大家可以按照自己的习惯去修改
然后滑到最下面找到“脚本”
在脚本里面选择 “X/Y/Z图表”
X轴、Y轴类型都选择 “提示词搜索/替换”
X轴的值输入：NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010
这里的序号对应的就是我们10个Lora的编号
Y轴值输入：STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1
这里的序号代表的是Lora的权重
全部参数设置好了之后就可以点击“生成”
生成出来就是这么一张大图，可以看到这几个Lora模型在不同强度下的表现
九、如何优化Lora
实际上，炼丹是一件比较玄学的事
有的人可能一次性就能炼出自己满意的Lora
但有的人可能要炼好几次才出来一个好的Lora
这时候我们可以通过调整训练的参数再重新炼一个
前提是 确保我们的喂给AI的素材是高质量的！
不然不管怎么修改参数，出来的Lora都是不合格的
这里我们就把炼Lora会遇到的问题分成两种情况
1.Lora出来的照片不像本人：AI没学好
2.Lora过拟合，甚至出来的照片崩了：AI学过头了
过拟合就是不管输入什么关键词，出来的照片都是你喂给AI的照片
没办法自由控制人物的服装、发型、发色等
点击“参数调优”我们就可以自行设置参数
如果生成的照片不像本人，那就可以适当增加Repeat（学习步数）值
如果照片过拟合了，那就减少Repeat值
其他参数都可以不用调，因为默认的参数就差不多是最优值了
十、资源下载汇总
Lora炼丹网盘资源汇总： https://pan.quark.cn/s/3c8cc96f3221
StableDiffusion资源整合安装包：https://pan.quark.cn/s/2750beda9269
StableDiffusion关键词分类查询：StableDiffusion的关键词分类查询
ControlNet资料汇总：https://pan.quark.cn/s/47bc8c79892a
AI资料网盘汇总（不定期更新）：AI专区网盘资源汇总
AIGC从入门到精通教程汇总：AIGC从入门到精通教程汇总文章来源：https://www.toymoban.com/news/detail-559317.html
原文链接阅读更舒服：AI绘画：StableDiffusion炼丹Lora攻略-实战萌宠图片生成
到了这里，关于AI绘画：StableDiffusion炼丹Lora攻略-实战萌宠图片生成的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
