【Stable Diffusion】ControlNet基本教程(一)

这篇具有很好参考价值的文章主要介绍了【Stable Diffusion】ControlNet基本教程(一)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.ControlNet是什么
ControlNet是Stable Diffusion用于图像风格迁移和控制的一款插件,作者是2021年才本科毕业,现在在斯坦福大学读博士一年级的中国学生张吕敏。ControlNet的出现代表着 AI 生成开始进入真正可控的时期,而 AIGC 的可控性是它进入实际生产最关键的一环。在此之前,大家用了很多方法想让 AI 生成的结果尽可能符合要求,但都不尽如人意,ControlNet 比之前 img2img 要更加精准和有效,可以直接提取画面的构图,人物的姿势和画面的深度信息等等。有了它的帮助,就不用频繁用提示词来碰运气抽卡式创作了。
【Stable Diffusion】ControlNet基本教程(一)

2.ControlNet作用
它允许通过线稿、动作识别、深度信息等对原有的图像进行控制,用户可以手动编辑源图像,控制其某些属性,改变图像的画风、动作、颜料等,生成新的图像。
ControlNet应用领域非常广,如时尚设计师可以输入不同款式和图案,快速生成服装设计灵感和样品;游戏设计者可以使用该插件快速生成不同主题和风格的游戏资源,如不同时代的建筑、衣服、植被等;电商商家可以控制AI模特的动作,摆出相应的姿态等。
3.ControlNet基本流程
安装好ControlNet后,在页面上会出现ControlNet的各类选项
(1)上传需要处理的图像(Drop Image Here or Click to Upload)
直接将需要处理的原图像拖动到这里,或者点击进行图像上传。
【Stable Diffusion】ControlNet基本教程(一)

(2)启用(Enable)
点击Enable,表示启用。
【Stable Diffusion】ControlNet基本教程(一)

(2)启动反色模式(Invert Input Color)
Invert Input Color 表示启动反色模式,如果输入的图片是白色背景,开启它。
【Stable Diffusion】ControlNet基本教程(一)

(3)色彩通道信息反转(RGB to BGR)
RGB to BGR 表示将输入的色彩通道信息反转,即 RGB 信息当做 BGR 信息解析,只是因为 OpenCV 中使用的是 BGR 格式。如果输入的图是法线贴图,开启它。
【Stable Diffusion】ControlNet基本教程(一)

(4)低显存模式(Low VRAM)
Low VRAM 表示开启低显存优化,需要配合启动参数“–lowvram”,如果你的显卡内存小于等于4GB,建议勾选此选项。
【Stable Diffusion】ControlNet基本教程(一)

(5)无提示词模式(Guess Mode)
Guess Mode 表示无提示词模式,也就是盲盒模式,不需要任何正面与负面提示词,出图效果随机,很有可能产生意想不到的惊喜效果!
【Stable Diffusion】ControlNet基本教程(一)

(6)预处理(Preprocessor)
Preprocessor 指预处理器,它将对输入的图像进行预处理,包括canny、mlsd等,根据图像特征以及最后要生成的图像效果,进行预处理模型选择。如果图像已经符合预处理后的结果,请选择 None。譬如,图中导入的图像已经是 OpenPose 需要的骨架图,那么 preprocessor 选择 none 即可。
【Stable Diffusion】ControlNet基本教程(一)

(7)模型(Model)
Model 中请选择想要使用解析模型,应该与输入的图像或者预处理器对应。请注意,预处理器可以为空,但模型不能为空。如果预处理与模型不一致其实也可以出图,但效果无法预料,且一般效果并不理想。
【Stable Diffusion】ControlNet基本教程(一)

(8)调整权重值(Weight)
在 Weight 下,可以调整该项 ControlNet 的在合成中的影响权重。
【Stable Diffusion】ControlNet基本教程(一)

(9)引导介入时机(Guidance Start(T))
Guidance strength 用来控制图像生成的前百分之多少步由 Controlnet 主导生成。Guidance Start(T) 设置为 0 即代表开始时就介入,默认为 0,设置为 0.5 时即代表 ControlNet 从 50% 步数时开始介入计算。
【Stable Diffusion】ControlNet基本教程(一)

(10)引导退出时机(Guidance End(T))
和引导介入时机相对应,如设置为1,则表示在100%计算完时才会退出介入也就是不退出,默认为 1,可调节范围 0-1,如设置为 0.8 时即代表从80% 步数时退出介入。
【Stable Diffusion】ControlNet基本教程(一)

(11)缩放模式(Resize Mode)
用于选择调整图像大小的模式:默认使用(Scale to Fit (Inner Fit))缩放至合适即可,将会自动适配图片。
一共三个选项:Just Resize,Scale to Fit (Inner Fit),Envelope (Outer Fit)
【Stable Diffusion】ControlNet基本教程(一)

(12)画布宽度和高度(Canvas Width 和 Canvas Height)
画布宽高设置,请注意这里的宽高,并不是指 SD 生成图片的图像宽高比。该宽高代表 ControlNet 引导时所使用的控制图像的分辨率,假如你用 SD 生成的图片是 1000x2000 分辨率,那么使用 ControlNet 引导图像时,对显存的消耗将是非常大的;我们可以将引导控制图像的分辨率设置为 500x1000 ,也就是缩放为原本图像一半的分辨率尺寸去进行引导,这有利于节省显存消耗。
【Stable Diffusion】ControlNet基本教程(一)

(13)创建空白画布(Create Blank Canvas)
如果之前使用过 ControlNet 功能,那么将会在 ControlNet 的图像区域留有历史图片,点击该按钮可以清空之前的历史,也就是创建一张空白的画布。
【Stable Diffusion】ControlNet基本教程(一)

(14) 预览预处理结果(Preview Annotator Result)
点击该按钮可以预览生成的引导图。例如:如果使用 Canny 作为预处理器,那么点击该按钮之后,可以看到一张通过 Canny 模型提取的边缘线图片。
【Stable Diffusion】ControlNet基本教程(一)

(15)隐藏预处理结果(Hide Annotator Result)
点击该按钮可以隐藏通过 Preview 按钮生成的预览图像窗口(不建议隐藏)
【Stable Diffusion】ControlNet基本教程(一)

ControlNet对于不同图像属性的调整,以及要生成的图像效果,主要是通过调节预处理(Preprocessor)和模型(Model)来实现的(Preprocessor和Model往往需要一样),下一节,我将通过实例来演示通过调节ControlNet的基本参数,配合所选择的大模型(Stable Diffusion checkpoint)来对ControlNet的基本用法进行讲解,欢迎关注、点赞、收藏,支持博主!

参考文献
[1]https://zhuanlan.zhihu.com/p/619721909
[2]https://cloud.tencent.com/developer/article/2273366?areaSource=100001.4
[3]https://zhuanlan.zhihu.com/p/606983243
[4]https://www.youtube.com/watch?v=x04Kb2sEm6Y文章来源地址https://www.toymoban.com/news/detail-490570.html

到了这里,关于【Stable Diffusion】ControlNet基本教程(一)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Stable Diffusion WebUI 控制网络 ControlNet 插件实现精准控图-详细教程

    本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里,订阅后可阅读专栏内所有文章。 大家好,我是水滴~~ 本文主要介绍 Stable Diffusion WebUI 一个比较重要的插件 ControlNet(控制网络),主要内容有:ControlNet 的工作原理、如果安装 ControlNet 插件、如何使用 ControlNet

    2024年04月25日
    浏览(41)
  • Stable Diffusion 绘画入门教程(webui)-ControlNet(IP2P)

    上篇文章介绍了深度Depth,这篇文章介绍下IP2P(InstructP2P), 通俗理解就是图生图,给原有图加一些效果,比如下图,左边为原图,右边为增加了效果的图: 玩法流程和之前一样哦 我这里用的大模型是\\\"anything-v5-PrtRE.safetensors\\\",选用不同模型生成效果会有区别,可以自己找喜欢的

    2024年04月25日
    浏览(55)
  • AI绘图:Controlnet在ComfyUI中的使用教程:提升Stable Diffusion可控性

    Controlnet是Stable Diffusion中一个至关重要的功能,它极大地增强了图像生成的可控性。通过引入额外的条件,Controlnet使我们能够更精确地控制生成的图像内容。本教程将详细介绍如何在ComfyUI中使用Controlnet,从而让你的创作过程更加灵活和精确。 在开始使用Controlnet之前,我们需

    2024年04月17日
    浏览(36)
  • Stable Diffusion+ControlNet+Lora 指导AI+艺术设计的WebUI全流程使用教程

    设计师们往往对于新出的绘画工具上手比较艰难,本文针对目前比较火热的Stable Diffusion+ControlNet指导AI艺术设计的工具使用进行全面讲解。很多人会有预感,未来要么设计师被图形学程序员取代,要么会使用AI工具的设计师取代传统设计师,2023年开始,AI辅助设计甚至主导设计

    2024年02月07日
    浏览(52)
  • Stable Diffusion stable-diffusion-webui ControlNet Lora

    Stable Diffusion用来文字生成图片,ControlNet就是用来控制构图的,LoRA就是用来控制风格的 。 国内加速官网: mirrors / AUTOMATIC1111 / stable-diffusion-webui · GitCode 安装参考: Stable Diffusion安装与常见错误(+Lora使用)2023年最新安装教程_cycyc123的博客-CSDN博客 保姆级教程:从0到1搭建St

    2024年02月09日
    浏览(74)
  • Stable Diffusion使用controlnet报错

    1、问题描述,使用controlnet时报错如下 error running process: G:\\0111stable-diffusion-webuiextensionssd-webui-controlnetscriptscontrolnet.py Traceback (most recent call last):   File \\\"G:\\0111stable-diffusion-webuimodulesscripts.py\\\", line 418, in process     script.process(p, *script_args)   File \\\"G:\\0111stable-diffusion-webuiextensi

    2024年02月09日
    浏览(51)
  • Stable Diffusion中的ControlNet插件

    ControlNet 的中文就是控制网,本质上是Stable Diffusion的一个扩展插件,在2023年2月份由斯坦福大学的研究人员开发出来的,能够使创作者轻松地控制AI图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。ControlNet可以概括为一种简单的稳定

    2024年02月09日
    浏览(50)
  • Stable Diffusion — ControlNet 超详细讲解

    ControlNet 最近非常火🔥!ControlNet 和 Stable Diffusion 的结合使 Stable Diffusion 能够接受指导图像生成过程的条件输入,从而增强了 Stable Diffusion 的性能。今天为大家深入剖析 ControlNet 的工作原理。 ControlNet 是一个控制预训练图像扩散模型(例如 Stable Diffusion)的神经网络。它允许输

    2024年02月09日
    浏览(39)
  • 详细解读ControlNet Stable Diffusion代码

    Diffusion models代码解读:入门与实战 前言 :ControlNet的原理部分可以看我之前写的博客《Image-to-Image任务的终结者:详解ControlNet原理与代码》 ,这篇博客主要讲解一下diffusers版本的ControlNet代码,从代码中洞悉原理,加深理解。 目录 原理详解

    2024年02月12日
    浏览(50)
  • 精讲stable diffusion的controlNet插件

    controlNet插件是stable diffusion的一个重要插件,甚至可以说正是因为有了controlNet插件,stable diffusion才会具有midjourney所不具备的独特魅力! 我们今天就一起来学习下controlNet插件的安装和每个模型的用法 插件主页 独立的controlNet程序(可独立运行,不依赖于stable diffusion)主页:

    2024年02月06日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包