Stable Diffusion系列（二）：ControlNet基础控件介绍-Toy模板网

这篇具有很好参考价值的文章主要介绍了Stable Diffusion系列（二）：ControlNet基础控件介绍。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

在下载插件时可以看到，ControlNet 插件的星数遥遥领先，远超其他妖艳贱货。究其原因，是因为其大大增强了使用者对图片生成过程的控制能力，图片的生成同时受到提示词和提示图的影响，使得文生图由抽卡游戏变成了一个更具确定性的创作工具。

ControlNet位置位于文生图界面下方，记得要勾选启用，可控类型包括这么点东西：
Stable Diffusion系列（二）：ControlNet基础控件介绍,多模态模型,stable diffusion
接下来我将以喜闻乐见的熊猫花花为例，演示一下关于ControlNet的高端操作

线稿提取类

Canny：边缘检测

如下图所示，图片的生成效果其实分为两步，第一步是使用canny预处理器提取出图片的线稿，第二步是由模型根据线稿和提示词同时绘图，如果你已经有现成的线稿，记得要把预处理器设为none
Stable Diffusion系列（二）：ControlNet基础控件介绍,多模态模型,stable diffusion
当我输入以下提示词时，得到了这样的画面，构图确实基本上一致，但说好的女装熊猫呢？？？你的裙子呢？？？

Stable Diffusion系列（二）：ControlNet基础控件介绍,多模态模型,stable diffusion
问题不大，不就是提示词的分量不够重吗，我直接减小控制权重以及让它不从头开始控制以及让提示词更重要，emmm，勉强算符合要求吧：

SoftEdge：软边缘检测

这其实就是上面的升级版，说是可以保留更多细节，相同设置下，直接看看效果：
Stable Diffusion系列（二）：ControlNet基础控件介绍,多模态模型,stable diffusion

Lineart：精细线稿提取

升级升级版，可以理解为是更精细的线稿提取，不错不错，有那味了：
Stable Diffusion系列（二）：ControlNet基础控件介绍,多模态模型,stable diffusion

Scribble/Sketch：涂鸦提取

个人感觉是在线稿基础上的“抓住主要矛盾，忽视次要矛盾”，注意这里除了从原图生成涂鸦，也可以自己手动画一个，但我只想说，你是哪来的肥兔子：
Stable Diffusion系列（二）：ControlNet基础控件介绍,多模态模型,stable diffusion

MLSD：建筑领域的线条提取

这种线条提取会更注重建筑结构比如景深之类，最经典的应用就是生成房屋效果图，如果强行丢一张非建筑，那只能是这样：
Stable Diffusion系列（二）：ControlNet基础控件介绍,多模态模型,stable diffusion
换一张花花的宫殿图试试，只能说它对于建筑的定义有点窄了：

3D提取类

下面就不放根据提示词重生成的图了，看着都大同小异（懒得放图了），只放第一步预处理的结果

Normal map：法线贴图

跟黑白线稿相比，可以很好地保存原图的光影效果以及表面的凹凸情况：
Stable Diffusion系列（二）：ControlNet基础控件介绍,多模态模型,stable diffusion

Depth：深度计算

提取画面的景深图，颜色越浅，距离越近，可以在图生图用来重新生成背景：

Stable Diffusion系列（二）：ControlNet基础控件介绍,多模态模型,stable diffusion

Segmentation：语义分割

从结构方面提取画面的信息，可以手动在语义分割图中添加新的语义块完成图生图任务：
Stable Diffusion系列（二）：ControlNet基础控件介绍,多模态模型,stable diffusion

属性继承

Shuffle：风格迁移

提取原图的绘画风格并迁移到新生成的图上，不得不说，这还是绘画或者游戏场景下比较适合，对熊猫来说这种艺术还是太超前了：
Stable Diffusion系列（二）：ControlNet基础控件介绍,多模态模型,stable diffusion

OpenPose：姿态提取

熊猫的姿态就不算姿态了吗？气鼓鼓
Stable Diffusion系列（二）：ControlNet基础控件介绍,多模态模型,stable diffusion
来个正常的人类：

Reference：整体保留

这个可以看做是上面种种的集大成者，可以用来在画面主体对应的个体不变的情况下改变动作或场景，比如对于提示词奔跑的熊猫就会生成下面这堆东西，不过还是没有画出花花的神韵， Stable Diffusion系列（二）：ControlNet基础控件介绍,多模态模型,stable diffusion

Revise：整体提示

其实跟Reference有点像，它的思路是直接把输入的原图作为提示词，可以文字提示词设为空直接跑，也可以与文字提示词一起用，但为什么熊猫变成了猎豹呢，可能是一个名字里有猫，一个是猫科动物吧：
Stable Diffusion系列（二）：ControlNet基础控件介绍,多模态模型,stable diffusion