安装教程
下载安装:建议下载V1.1版本
论文:https://arxiv.org/pdf/2302.05543.pdf
1.环境安装
下载ControlNet仓库
git clone https://github.com/lllyasviel/ControlNet
切换到ControlNet主目录
cd ControlNet
创建名为control的conda虚拟环境并安装依赖
conda env create -f environment.yaml
激活名为control的虚拟环境
conda activate control
2. 下载预训练的模型文件
所有模型和检测器都可以从 Hugging Face页面下载。确保
SD 模型放在“ControlNet/models”中,
检测器放在“ControlNet/annotator/ckpts”中。
确保从 Hugging Face 页面下载所有必要的预训练权重和检测器模型,包括 HED 边缘检测模型、Midas 深度估计模型、Openpose 等。
几种预训练模型解释见下表,可以根据功能下载:
3.运行(生成可视化界面)
通过执行上表中,不同的“脚本”列来执行不同的条件控制任务。
注意:原始的执行脚本默认不能在公网访问,若要在公网访问请在脚本的最后一行作如下修改:
原始代码:
block.launch(server_name=‘0.0.0.0’)
修改为:
block.launch(server_name=‘0.0.0.0’, share=True)
下面以segmentation map 这个条件控制方式进行AI图像的生成。
执行代码:
python gradio_seg2image.py
在终端中生成的链接进行公网访问:
在本地浏览器访问,示例界面如下:
1、ControlNet:AI绘画
如果要画一幅画,一方面是构图,一方面是风格。现在的AI绘画,就是炼丹。需要通过各种 prompt 来控制画面的构图和风格。
鉴于prompt 的专业性与复杂性,产生了两个模型: ControlNet就是用来控制构图的,LoRA就是用来控制风格。还有一个风格迁移的模型shuffle,此外,SD1.5也能生成好的图像。
那ControlNet是 如何构图呢?有以下两种方法:
1、已经手绘了草图,后续的完善和美化由 AI 去做;
2、利用现成的图,生成不同风格的新图。
那么这就是ControlNet做的事情:通过你手上已有的图而不是咒语,实现对AI绘图的控制。
这里只介绍 ControlNet,LoRA作为锦上添花的 work 后续介绍。
1.1、ControlNet的本质是文生图(txt2img)
ControlNet的原始论文:《Adding Conditional Control toText-to-Image Diffusion Models》 及代码,最原始是一个 txt2img 的工作。此外还有 inpaint 的附加功能,也就是替换、消除等。
所以在WEB UI中,不管是txt2img还是img2img,都有ControlNet。
2.2、预处理器 & 模型选择
要保证预处理器(preprocessor)跟模型(model)是同类的。
预处理器preprocessor:对参考图预处理,作为控制图,给到后续的对应模型进行控制出图。比如:如果选择了scribble类的预处理器,那么模型就最好选择scribble模型:
上图中,第一行分别是原图和scribble预处理后的图,想画一只类似猫头鹰。第二行是不同配置条件下的AI出图结果。只有预处理跟模型是一致的情况下,才能得到比较好的结果图,如果预处理器或者模型有一者为空,基本就等同于ControlNet未生效,就是一般的SD出图,如第二行的中间两幅图。 WEB UI开发者也注意到了预处理器vs模型之间对应关系的问题,所以在1.1.2XXX版本中限定了预处理和模型之间的对应关系,如下图所示。
1.3、参数配置
由于可调参数多,第一次使用默认参数,如果效果不好,再做参数细调。
2、ControlNet 模型分类
ControlNet1.1版本发布了14个模型,主要可以分成三类:
2.1、草图类(6个)
主要是用预处理器,将图像处理成草图,或者直接输入手稿也行。
预处理器有以下几种:
1)Canny:边缘提取器,最常用
2)MLSD:特殊的线条检测(比如直线),适合建筑设计、室内设计
3)lineart :线条提取(早期版本叫fake_scribble )
4)lineart_anime:需要配合anything_v3-v5的大模型(需要复杂提示词)使用
5)SoftEdge:区分几种预处理器,综合效果选择SoftEdge_PIDI
6)Scribble:涂鸦,类似于简笔画
以下是不同预处理器的效果和差异
以下是Scribble的效果
简单的prompt就能生成非常好的效果图
2.2、高级特征类(3个)
1)depth:深度图
2)seg:语义分割图。譬如粉色是建筑物、绿色是植物等
3)normalbae:法线贴图(法线就是像素的梯度,反映了纹理)
以下是效果图,后面两列是模型生成的新图
对应的预处理器如下(可随机选,效果类似):
1.depth:支持depth_Midas, depth_Leres, depth_Zoe等等,以及别其他软件生成的depth map
2.seg:支持Seg_OFADE20K、Seg_OFCOCO、Seg_UFADE20K,以及人工手绘的蒙版。
3.normalbae:支持normal_bae, normal_midas
3.3、高级类(5个)
1)OpenPose:骨骼捕捉,很热门
2)inpaint:局部修图,可以很自然删除一些目标
3)shuffle:风格混合,转换不同风格
4)ip2p:指令式修图,可以识别有限的指令
5)tile:图像超分:会增加原图没有的细节。
以下是ip2p的效果
以下是shuffle 的效果
3、配置参数
大多数参数选择默认就可以了,在高阶应用时需要调参。除了对预处理器与模型的选择,下面介绍别的参数
黄色框:跟所选的 预处理器和模型相关的。主要是线条粗细、细节丰富程度等参数
红色框:
第一组:基础控制,比较简单
1)enable:是否启用ControlNet
2)lowVRAM:低精度,可以减少显存消耗
3)Pixel Perfect:是新版本新增功能,对应黄框中的第一项preprocessor resolution,算法自己去计算最合适的resolution。如果不是512*512这种的方形出图,建议勾上这个选项。
4)allow preview:提前预览 预处理器的效果
第二组:权重控制(可以直接用默认)
1)control weight:控制网络的控制权重
2)starting control step:什么时候介入控制(百分比)
3)ending control step:什么时候退出控制(百分比)
如果不想用controlNet控制太多,则可以晚点介入。
第三组:控制模式(可以直接用默认)
1)balanced
2)my prompt is important
3)ControlNet is important
用于分配 prompt 和 参考图的权重比例
第四组:裁剪方式
当控制图(参考图)的尺寸跟目标图(txt2img里面要生成的图)的尺寸不一致时,需要配置这组参数:
1)just resize:变更控制图的长宽比以适应目标图的尺寸比例(可能导致形变)。
2)crop and resize:对控制图进行裁剪以适应目标图的尺寸比例 。
3)resize and fill:对控制图进行缩放,保证整个控制图能塞到目标图中去,然后对多余部分进行空白填充。
4、基本原理:可控的SD模型
ControlNet:将stable diffusion模型,克隆出一个副本
ControlNet是一个用于 深度神经网络 的控制技术,它可以通过操作神经网络的输入条件来控制神经网络的行为。网络主要包含 “resnet”块、“conv-bn-relu”块、多头注意力块等。通过克隆神经网络块的参数, 并应用零卷积连接层来实现ControlNet的目标。
副本网络与原始网络块的输入和输出是一致的。训练初始阶段,ControlNet不会对神经网络产生影响。零卷积的权重和偏置值都被初始化为零,这使得ControlNet在优化过程中不会影响权重和偏置值的梯度。ControlNet通过控制神经网络块的输入条件来调整神经网络的行为,并适应不同的任务和数据。每个神经网络块由一组参数来定义,这些参数可以在训练过程中进行优化。
ControlNet 应用于任意神经网络块。x; y 是神经网络中的深度特征。“+” 表示特征加法。“c” 是我们要添加到神经网络中的额外条件。“zero convolution” 是一个 1 × 1 卷积层,其权重和偏置都初始化为零
ControlNet结构可以表示为:
yc = F(x; α) + Z(F(x + Z(c;βz1); βc); βz2)
其中,yc是该神经网络块的输出结果。在第一次训练步骤中,神经网络块的可训练副本和锁定副本的所有输入和输出不受ControlNet 影响。任何神经网络块的能力、功能和结果质量都得到完美保留,并且任何进一步的优化将变得像微调一样快(与从头开始训练这些层相比)。
在第一次训练步骤中,由于零卷积层的权重和偏置值都初始化为零,我们有:
Z(c; βz1) = 0
F(x + Z(c; βz1); βc) = F(x; βc) = F(x; α)
Z(F(x + Z(c; βz1); βc); βz2) = Z(F(x; βc); βz2) = 0
当应用ControlNet到一些神经网络块时,在任何优化之前,它都不会对深度神经特征产生影响。任何神经网络块(比如预训练的SD)的能力、功能和结果质量都得到完美保留,并且任何进一步的优化将变得像微调一样快。通过迭代的过程,重复应用ControlNet操作来优化神经网络块。这样,在每一步中,我们可以保持所有其他神经网络块不变,仅对某些神经网络块进行修改和调整。
原文以 Stable Diffusion为基础,使用ControlNet对大型网络进行控制:将Encoder复制训练,decoder部分进行skip connection。
图中 “Zero Convolution”是带有零初始化权重和偏差的1×1卷积。模型开始训练之前,所有零卷积输出都是零,此时模型仍然是原始的Stable Diffusion Model。而在加入自己的训练数据之后,则会对最终结果做微调,因此不会导致模型出现重大偏离的情况。
我们从整体的模型结构上可以看出,作者在Stable Diffusion 模型的decode层加入了上述“0卷积层”,以实现对最终模型与训练数据的一致性。
5.可视化效果
图像分割搭配SD1.5
姿态检测搭配SD1.5:
通过HED轮廓,搭配SD1.5
灵魂画师搭配SD1.5
文章来源:https://www.toymoban.com/news/detail-720517.html
总结
部分图片转载自知乎用户@BitByBit文章来源地址https://www.toymoban.com/news/detail-720517.html
到了这里,关于【AIGC】【AI绘画】controlNet介绍(原理+使用)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!