stable-diffusion-webui的介绍与使用——Controlnet1.1-Toy模板网

这篇具有很好参考价值的文章主要介绍了stable-diffusion-webui的介绍与使用——Controlnet1.1。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

源码地址：https://github.com/lllyasviel/ControlNet | 最新版本 controlnet-v1.1
论文地址：2302.Adding Conditional Control to Text-to-Image Diffusion Models
扩展UI地址（需先安装sd-webui）：https://github.com/Mikubill/sd-webui-controlnet

一、controlnet-v1.1 能做什么？

包含14个模型(11个成熟模型，3个实验)

1.1 图片-深度图-重绘-模型（ControlNet 1.1 Depth）

对应模型与配置（两个都要存在）：

control_v11f1p_sd15_depth.pth
control_v11f1p_sd15_depth.yaml

内置的3种预处理器（Preprocessors）生成深度图：
Depth_Midas
Depth_Leres
Depth_Zoe
也可以直接从rendering engines 到处的深度图（depth）
下图来源于官方git (题词为)：

a handsome man

stable-diffusion-webui的介绍与使用——Controlnet1.1

1.2 图片-Bae’s的正则化图-重构

Model file: control_v11p_sd15_normalbae.pth
Config file: control_v11p_sd15_normalbae.yaml
Acceptable Preprocessors: Normal BAE.
This model can accept normal maps from rendering engines as long as the normal map follows ScanNet’s protocol

题词

random seed 12345
(“a man made of flowers”):

stable-diffusion-webui的介绍与使用——Controlnet1.1

1.3 图像-candy边缘-重构（Canny）

对应模型与配置

control_v11p_sd15_canny.pth
control_v11p_sd15_canny.yaml

stable-diffusion-webui的介绍与使用——Controlnet1.1

1.4 图片-MLSD直线检测-重绘

control_v11p_sd15_mlsd.pth
control_v11p_sd15_mlsd.yaml

Preprocessors: MLSD.
stable-diffusion-webui的介绍与使用——Controlnet1.1

1.5 图片-线稿-重绘

模型

Model file: control_v11p_sd15_scribble.pth
Config file: control_v11p_sd15_scribble.yaml

输入

真实图片（选择内置）处理器

Scribble_HED,
Scribble_PIDI

stable-diffusion-webui的介绍与使用——Controlnet1.1

自己手绘（hand-drawn ）

, “the beautiful landscape”):

stable-diffusion-webui的介绍与使用——Controlnet1.1

1.6 图像-平滑线稿-重绘

Acceptable Preprocessors:
SoftEdge_PIDI,
SoftEdge_PIDI_safe,
SoftEdge_HED,
SoftEdge_HED_safe.
stable-diffusion-webui的介绍与使用——Controlnet1.1

1.7 图片-语义分割图-重绘

相当于1.0版本支持150种颜色，本版本支持182 coco颜色
模型与配置

Model file: control_v11p_sd15_seg.pth
Config file: control_v11p_sd15_seg.yaml

stable-diffusion-webui的介绍与使用——Controlnet1.1

1.8 图片-人体（手）关键点-重绘

Model file: control_v11p_sd15_openpose.pth
Config file: control_v11p_sd15_openpose.yaml

几种使用组合（普通关键点、人脸关键点、手指关键点）

Openpose body
Openpose hand
Openpose face
Openpose body + Openpose hand
Openpose body + Openpose face
Openpose hand + Openpose face
Openpose body + Openpose hand + Openpose face
上面的组合太复杂了，建议使用下面2种
“Openpose” = Openpose body
“Openpose Full” = Openpose body + Openpose hand + Openpose face

单人姿态迁移

stable-diffusion-webui的介绍与使用——Controlnet1.1
全部

1.9 图片-详细线稿（Lineart）-重绘

Model file: control_v11p_sd15_lineart.pth
Config file: control_v11p_sd15_lineart.yaml

详细程度
stable-diffusion-webui的介绍与使用——Controlnet1.1
简略

线稿上色感

stable-diffusion-webui的介绍与使用——Controlnet1.1

1.10 动漫线稿上色-anime lineart

stable-diffusion-webui的介绍与使用——Controlnet1.1

*1.11 图片-排布随机-重绘 Shuffle（实验行功能）

Model file: control_v11e_sd15_shuffle.pth
Config file: control_v11e_sd15_shuffle.yaml

stable-diffusion-webui的介绍与使用——Controlnet1.1

生成人物
stable-diffusion-webui的介绍与使用——Controlnet1.1

配合mul-contolnet

stable-diffusion-webui的介绍与使用——Controlnet1.1

1.12 Instruct Pix2Pix （实验性功能）

Model file: control_v11e_sd15_ip2p.pth
Config file: control_v11e_sd15_ip2p.yaml

基于instrcuct pix2pix的数据集训练的
stable-diffusion-webui的介绍与使用——Controlnet1.1

1.13 对原图进行修复（Inpaint）

Model file: control_v11p_sd15_inpaint.pth
Config file: control_v11p_sd15_inpaint.yaml

Model file: control_v11f1e_sd15_tile.pth
Config file: control_v11f1e_sd15_tile.yaml

1.14 图片细节重构（Tile）

Model file: control_v11f1e_sd15_tile.pth
Config file: control_v11f1e_sd15_tile.yaml

stable-diffusion-webui的介绍与使用——Controlnet1.1

安装

本机安装

服务器安装方法

git clone https://github.com/Mikubill/sd-webui-controlnet
git clone https://github.com/fkunn1326/openpose-editor.git

附录

论文以及原理

2302.Adding Conditional Control to Text-to-Image Diffusion Models
stable-diffusion-webui的介绍与使用——Controlnet1.1 文章来源地址https://www.toymoban.com/news/detail-499340.html